Stable Diffusion definitivamente es uno de los mejores proyectos del año. Debido a su propiedad “open source” permite generar diferentes experiencias desde generar imágenes hasta videos, por eso en esta tutorial te explicaré cómo crear videos con Stable Diffusion Deforum. Si te interesa la inteligencia artificial y cómo usarlo en tus proyectos de realidad aumentada / realidad virtual, lee todo el contenido.
Te recomiendo que veas mi primer post sobre Stable Diffusion, así entenderás lo básico. Ahora mismo voy a utilizar una imagen base para que entiendas la lógica del procedimiento.
Tutorial Stable Diffusion Deforum – crear videos
En este contenido encontrarás dos tipos de tutoriales. Uno automatizado y el segundo será el proceso manual. Te recomiendo que aprendas ambas opciones, te servirá.
Deforum es un proyecto de inteligencia artificial muy completo. Podemos modificar el tipo de animaciones, frames, ángulos de movimiento, rotación y por supuesto contaremos con la capacidad de agregar prompts en frames específicos, de esa manera tendremos un control completo del resultado; y por si fuera poco tenemos ajustes de exportación. Trabajar con Deforum es simple pero requiere mucha investigación y desarrollo, por eso vamos a explicar ideas básicas y luego pasar a generar un tutorial completo.
Idea base
En el cuaderno oficial de Stable Diffusion generaré una imagen de bosque de caramelos, con colores brillantes y con una textura de lana. Este sería el resultado:
Podemos seguir ajustando para obtener diferentes imágenes. Directamente aquí no podemos generar animaciones. Tendremos siempre imágenes estáticas, lo cual está bien pero no es nuestro objetivo final. Recuerda estas imágenes pues lo usaremos como base.
Para generar animacion lo que tenemos que utilizar es otro proyecto. Este se llama Deforum de Stable Diffusion
Stable Diffusion Deforum – Proceso automatizado
Entra al github de Deforum. Tan solo buscalo en google y encontrarás el home principal. Allí hay tres links interesantes: notebook donde encontrarás el google colab más actualizado,también encontrarás el github del proyecto completo y Discord. Te recomiendo que entres al Discord pues hay novedades relevantes del proyecto.
Te recomiendo bastante que estés atento a las novedades de la comunidad y por supuesto en Emiliusvgs te mantendremos al tanto.
Guarda tu copia dentro de tu google drive y ponle un buen nombre, luego vamos a darle play a cada paso. Te recomiendo que uses una cuenta con bastante espacio libre para trabajar.
Aquí hay una serie de modificaciones que te harán la vida más sencilla. Deforum ha implementado el “automatic download”, es decir, ya no tendremos que descargar manualmente los modelos de stable diffusion para crear la experiencia. Esto solía ser un punto crítico para muchos.
En model setup hay varias opciones a configurar. Ahora tenemos que elegir el checkpoint correcto, hay bastantes opciones, yo usaré la versión 1.5 pruned. Le damos play.
Ahora en la sección animation tendremos que hacer las configuraciones para la generación de imágenes secuenciales… Sigue todo el tutorial que explico en el video de youtube. Si quieres iniciar rápidamente este mundo de video generativos, pudes aprovechar mi guía de PROMPTS.
Stable Diffusion Deforum – Proceso Manual
Deforum es un proyecto especializado en generar imágenes animadas tomando en cuenta el texto que escribamos. El proceso es sencillo:
Tienes que tener acceso a este link. Esta es la versión v.07. En el transcurso de los meses puede cambiar la versión y también el link, por lo que te recomiendo que entres al Discord de Deforum.
Antes de darle Play a todos los puntos, tenemos que instalar archivos en Google Drive, pues el cuaderno se conectará con varios documentos. Vamos a comenzar a importar los archivos necesarios, para eso entramos al Discord de Deforum, sobre todo en el apartado “FAQ”, ahora llamado Quick Guide. Aquí encontraremos la información necesaria para trabajar.
Nos indican que debemos descargar los archivos oficiales de Stable Diffusion, también tendremos otros tipos de guías, pero por el momento nos quedaremos con este primer punto.
Descargaremos este archivo (stable-diffusion-v-1-4-original) , pesa casi 4 gigas, así que esto demorará.
En mi tutorial inicial utilizamos el archivo llamado v1-interference, actualmente están apareciendo diferentes .yaml a medida como avanza el proyecto Deforum, así que posiblemente actualice el video tutorial. De todas formas te comparto los links donde obtendrás los archivos:
Nos pedirán que tengamos en Google Drive, una ruta asociada a AI / MODELS, pues aquí se leerán nuestros archivos descargados, por eso debemos crear una carpeta con esta jerarquía de información. Recuerda crear esas carpetas tal y como se describen. Aquí agregaremos nuestros dos archivos.
Comenzaremos a darle play en el cuaderno de trabajo:
- Copia este cuaderno para mayor libertad, así trabajarás sin problema en tu Google Drive
- El segundo punto también nos pedirá autorización para trabajar con google drive. Hacemos clic a todos los puntos, esto puede tomar tiempo.
- En animation utilizaremos el modo 3D.
- En max frame rate tenemos que ajustar a un número más bajo… lo bajaremos hasta 50 frames. Esto equivale a 3 segundos aproximadamente.
- Tenemos que trabajar en los 3 ejes: X, Y, Z. Te recomiendo que veas esta parte específica del video tutorial para que comprendas cómo se utilizan estos parámetros.
- Yo modificaré el parámetro de movimiento de esta manera:
- Más abajo tendremos los prompts. Aquí agregaremos el texto que utilicé en Stable Diffusion, y luego haré una variación.
- Luego podemos indicar cuando comenzarán a generar las imágenes según el frame específico.
- Ejecutamos el bloque RUN. Vamos a ver más abajo como se van generando cada imagen según las características que agregamos.
- Como último paso, ejecutaremos este bloque, pero primero debemos quitar todos los checks.
- Ya tenemos el archivo para descargar.
Lo genial de todo esto es que también tendremos las 50 imágenes generadas, es decir, esto te puede servir para todo.
Si quieres hacer algo más complejo, puedes editar los parámetros de movimiento. Te recomiendo que también experimentes con los prompts.
Apóyame via patreon
¿Te gustó este contenido? Ha sido creado con mucho esfuerzo a través de días de investigación. Para que sigamos creando este tipo de contenido educativo puedes apoyarnos vía patreon.
