⚡ Flash Difusión: FlashPixart ⚡

jasperai

Texto a imagen

Flash Diffusion es un método de destilación de difusión propuesto en Flash Diffusion: Acelerando Cualquier Modelo de Difusión Condicional para Generación de Imágenes en Pocos Pasos por Clément Chadebec, Onur Tasar, Eyal Benaroche y Benjamin Aubin de Jasper Research. Este modelo es una versión destilada de Pixart-α de 66.5M LoRA que es capaz de generar imágenes de 1024x1024 en 4 pasos.

Como usar

El modelo puede usarse utilizando el PixArtAlphaPipeline de la librería diffusers directamente. Permite reducir el número de pasos de muestreo requeridos a 4 pasos.
import torch
from diffusers import PixArtAlphaPipeline, Transformer2DModel, LCMScheduler
from peft import PeftModel

# Cargar LoRA
transformer = Transformer2DModel.from_pretrained(
"PixArt-alpha/PixArt-XL-2-1024-MS",
subfolder="transformer",
torch_dtype=torch.float16
)
transformer = PeftModel.from_pretrained(
transformer,
"jasperai/flash-pixart")

# Pipeline
pipe = PixArtAlphaPipeline.from_pretrained(
"PixArt-alpha/PixArt-XL-2-1024-MS",
transformer=transformer,
torch_dtype=torch.float16
)

# Scheduler
pipe.scheduler = LCMScheduler.from_pretrained(
"PixArt-alpha/PixArt-XL-2-1024-MS",
subfolder="scheduler",
timestep_spacing="trailing",
)

pipe.to("cuda")

prompt = "Un mapache leyendo un libro en un bosque frondoso."

image = pipe(prompt, num_inference_steps=4, guidance_scale=0).images[0]

Funcionalidades

Generación de imágenes de 1024x1024 en 4 pasos.
Modelo destilado de Pixart-α de 66.5M LoRA.

Casos de uso

Generación de imágenes de alta resolución en pocos pasos.
Aplicaciones artísticas y creativas.
Proyectos que requieren difusión condicional eficiente.