CogVideoX-2B

Este modelo admite la implementación utilizando la biblioteca de difusores de huggingface. Puedes desplegarlo siguiendo estos pasos. Se recomienda visitar nuestro GitHub y consultar las optimizaciones y conversiones relevantes del prompt para obtener una mejor experiencia.

# Instalación de dependencias requeridas
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "Un panda, vestido con una pequeña chaqueta roja y un diminuto sombrero, se sienta en un taburete de madera en un sereno bosque de bambú. Las peludas patas del panda rasguean una diminuta guitarra acústica, produciendo suaves melodías. Cerca de allí, algunos otros pandas se reúnen, observando con curiosidad y algunos aplaudiendo al ritmo. La luz del sol se filtra a través del alto bambú, proyectando un suave resplandor en la escena. La cara del panda muestra concentración y alegría mientras toca. El fondo incluye un pequeño arroyo y un vibrante follaje verde, mejorando la atmósfera pacífica y mágica de esta única actuación musical."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
    torch_dtype=torch.float16
)

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)