Stable Diffusion definitivamente es uno de los mejores proyectos del año. Debido a su propiedad “open source” permite generar diferentes experiencias desde generar imágenes hasta videos, por eso en esta tutorial te explicaré cómo crear videos con Stable Diffusion Deforum. Si te interesa la inteligencia artificial y cómo usarlo en tus proyectos de realidad aumentada / realidad virtual, lee todo el contenido.

Te recomiendo que veas mi primer post sobre Stable Diffusion, así entenderás lo básico. Ahora mismo voy a utilizar una imagen base para que entiendas la lógica del procedimiento.

Deforum es un proyecto de inteligencia artificial muy completo. Podemos modificar el tipo de animaciones, frames, ángulos de movimiento, rotación y por supuesto contaremos con la capacidad de agregar prompts en frames específicos, de esa manera tendremos un control completo del resultado; y por si fuera poco tenemos ajustes de exportación. Trabajar con Deforum es simple pero requiere mucha investigación y desarrollo, por eso vamos a explicar ideas básicas y luego pasar a generar un tutorial completo.

Idea base

En el cuaderno oficial de Stable Diffusion generaré una imagen de bosque de caramelos, con colores brillantes y con una textura de lana. Este sería el resultado:

Podemos seguir ajustando para obtener diferentes imágenes. Directamente aquí no podemos generar animaciones. Tendremos siempre imágenes estáticas, lo cual está bien pero no es nuestro objetivo final. Recuerda estas imágenes pues lo usaremos como base.

Para generar animacion lo que tenemos que utilizar es otro proyecto. Este se llama Deforum de Stable Diffusion

Tutorial Stable Diffusion Deforum – crear videos

Deforum es un proyecto especializado en generar imágenes animadas tomando en cuenta el texto que escribamos. El proceso es sencillo:

Tienes que tener acceso a este link. Esta es la versión v.07. En el transcurso de los meses puede cambiar la versión y también el link, por lo que te recomiendo que entres al Discord de Deforum.

Antes de darle Play a todos los puntos, tenemos que instalar archivos en Google Drive, pues el cuaderno se conectará con varios documentos. Vamos a comenzar a importar los archivos necesarios, para eso entramos al Discord de Deforum, sobre todo en el apartado “FAQ”, ahora llamado Quick Guide. Aquí encontraremos la información necesaria para trabajar.

Nos indican que debemos descargar los archivos oficiales de Stable Diffusion, también tendremos otros tipos de guías, pero por el momento nos quedaremos con este primer punto.

deforum stable diffusion quick guide

Descargaremos este archivo (stable-diffusion-v-1-4-original) , pesa casi 4 gigas, así que esto demorará.

En mi tutorial inicial utilizamos el archivo llamado v1-interference, actualmente están apareciendo diferentes .yaml a medida como avanza el proyecto Deforum, así que posiblemente actualice el video tutorial. De todas formas te comparto los links donde obtendrás los archivos:

  • V1 – Interference (Enlace)
  • V2 – Interference y más (Enlace)
v2-inteference yaml

Nos pedirán que tengamos en Google Drive, una ruta asociada a AI / MODELS, pues aquí se leerán nuestros archivos descargados, por eso debemos crear una carpeta con esta jerarquía de información. Recuerda crear esas carpetas tal y como se describen. Aquí agregaremos nuestros dos archivos.

ai models deforum stable diffusion

Comenzaremos a darle play en el cuaderno de trabajo:

  • Copia este cuaderno para mayor libertad, así trabajarás sin problema en tu Google Drive
  • El segundo punto también nos pedirá autorización para trabajar con google drive. Hacemos clic a todos los puntos, esto puede tomar tiempo.
  • En animation utilizaremos el modo 3D.
  • En max frame rate tenemos que ajustar a un número más bajo… lo bajaremos hasta 50 frames. Esto equivale a 3 segundos aproximadamente.
  • Tenemos que trabajar en los 3 ejes: X, Y, Z. Te recomiendo que veas esta parte específica del video tutorial para que comprendas cómo se utilizan estos parámetros.
  • Yo modificaré el parámetro de movimiento de esta manera:
motion parameters deforum
  • Más abajo tendremos los prompts. Aquí agregaremos el texto que utilicé en Stable Diffusion, y luego haré una variación.
  • Luego podemos indicar cuando comenzarán a generar las imágenes según el frame específico.
deforum stable diffusion prompt
  • Ejecutamos el bloque RUN. Vamos a ver más abajo como se van generando cada imagen según las características que agregamos.
  • Como último paso, ejecutaremos este bloque, pero primero debemos quitar todos los checks.
  • Ya tenemos el archivo para descargar. 
deforum stable diffusion resultado

Lo genial de todo esto es que también tendremos las 50 imágenes generadas, es decir, esto te puede servir para todo.

Si quieres hacer algo más complejo, puedes editar los parámetros de movimiento. Te recomiendo que también experimentes con los prompts.

Apóyame via patreon

¿Te gustó este contenido? Ha sido creado con mucho esfuerzo a través de días de investigación. Para que sigamos creando este tipo de contenido educativo puedes apoyarnos vía patreon.

patreon emiliusvgs

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.