Hoy vamos a unir la inteligencia artificial para mostrar el efecto interpolate dentro una camiseta virtual, logrando así un Virtual Try-on de moda muy interesante. En este tutorial te explicaré cómo crear un probador virtual donde trabajaremos con Lens Studio (realidad aumentada) y las imágenes generadas por Deforum Stable Diffusion. Sigue al pie de la letra este articulo:
Crear ropa virtual es uno de los proyectos más importantes y útiles que se pueden hacer con la AR (Realidad Aumentada) de Snapchat (Lens Studio). Por ello es relevante que sepas cómo trabajar con esta tecnología.
¿Cómo crear un probador virtual con AR y Deforum Stable Diffusion?
Hace unas semanas participé en un concurso de Lenslist y Snapchat y en mi proyecto utilicé inteligencia artificial para generar las fotos que aparecen en la playera. El efecto lo realicé en after effects, me pareció un resultado decente, aunque tenía ciertas dudas hasta que conocí el efecto interpolate. Supe que ese era el estilo que quería generar desde un principio pero no tenía información suficiente para hacerlo.
Pasaron solamente semanas para que apareciera Stable Diffusion y todo el abanico de proyectos relacionados, es así como conocí Deforum. Es realmente un proceso preciso y que genera efectos potentes.
Trabajando con Deforum Stable Diffusion
- Lo primero que tenemos que hacer es entrar a su Google Colab.
- Debes copiar el archivo original y luego conectarlo.
- Tenemos que habilitar cada paso con la opción play. Atento a cada mensaje que indica Google Colab.
- Por lo general Deforum requiere conexión a tu google drive, así que utiliza un correo gmail que tenga espacio suficiente para trabajar.
- Otro dato importante es que necesitarás subir dos archivos a tu drive (v1-inference.yaml y sd-v1-4.ckpt) para poder generar los efectos. toda esta información lo he explicado en el primer video de Deforum.
- En animation seleccionaremos interpolate. Esto es super importante
- En interpolate x frames, lo dejaré en 50.
- Prompts agregaremos ideas relacionadas a zombies y actores famosos.
- Modifico el batch name para estar más acorde con el tema y le damos PLAY. Esto puede tomar tiempo.
- En la opción run debemos deshabilitar dos checks para generar el video. El resultado final sería este.
¿Qué actores crees que aparecieron? Déjalo en los comentarios. Hemos generado un video de 8 segundos a 15 FPS. Por supuesto también tenemos nuestras imágenes por separado. Estas son 154. Lo genial de todo esto es que tenemos imágenes con las mismas dimensiones.
Trabajando con Lens Studio para crear Virtual Try on
- Entramos a Cloth Simulation Try on, por cierto, tengo un tutorial super completo de esta plantilla que te va encantar. Te recomiendo que la revises.
- Cada plantilla tiene ejemplos, en este caso existen 4: El primero que estamos viendo es el lowpoly, el segundo es high poly, el tercero es un cubretodo y el último es un Hoodie. Nosotros vamos a trabaja con su estructura.
- Entramos a asset library y buscamos en la sección 3D nuevas prendas, como por ejemplo esta sudadera. Importamos.
- El archivo hoodie tiene varios elementos: destacan el full body occluder, que si le quitamos su material, verás la malla que cubre nuestro cuerpo.
- Luego están las guías de colisión, estas sirven para hacer más realista la interacción, finalmente tenemos el hoodie, donde encontramos el cloth mesh y el material, y por supuesto otras opciones de configuración.
- Lo que vamos hacer ahora es incorporar la sudadera 3D dentro del proyecto utilizando el hoodie. En resource buscaremos “full body mesh hoodie” y en external mesh vincularemos el mesh de la sudadera.
- Crearemos un nuevo material, yo por lo general utiliza Unlit. Puedes poner el color que quieras por el momento.
- En resource utilizaremos: 2d animation from files, importamos.
- Ahora en texture conectaré nuestro “animation”.
- Ponemos el color blanco como base.
- En texture UV, seleccionaremos “transformed UV 2”. Lo habilitamos más abajo
- Con las opciones de “scale” y “offset” podemos hacer los ajustes necesarios.
- Recuerda que en animation también puedes cambiar el FPS.
