Dreamfields 3D, crea objetos 3D a partir de texto

La inteligencia artificial esta evolucionando rápidamente, si antes hablábamos de imágenes que se generan vía texto, ahora podemos ir hablando sobre objetos 3D que se generan vía texto. Existe una avalancha de información que nos confunde más en vez de esclarecer el tema, por ello en este articulo te explicaré cómo utilizar uno de los proyectos más potentes: Dreamfields 3D.

Dreamfields 3D está llamando la atención de todos los entusiastas en la creación de objetos 3D y de la inteligencia artificial. Es importante resaltar que esta tecnología aportan valor para la realidad aumentada, realidad virtual y por supuesto el metaverso. No hay que ver esto como una tendencia aislada sino como el verdadero impacto que es, la evolución hacia el futuro.

Dreamfields3D es un proyecto open source que nos permite crear objetos 3D primitivos a color, además de tener un video 360 sobre este objeto, todo a partir de texto. Este proyecto es la evolución de dreamfields-torch y dreamfields. El resultado está muy interesante y claro, dependerá del prompt (texto que escribimos para generar el resultado 3D) que utilices, y lo mejor de todo es que podemos utilizar Colab, es decir, trabajaremos con la potencia de Google, pues crear objetos 3D de esta manera requiere una mayor capacidad.

Tutorial Dreamfields 3D – crear objetos 3D desde texto

Lo genial de Google Colab de Google y los cuadernos de cada proyecto es que tendremos instrucciones para entender el proceso de trabajo.

• Lo primero que haremos es copiar el cuaderno, luego activaremos el primer paso. Recuerda que esto puede tomar tiempo.

• Habilitaremos el acceso a nuestro google drive para tener los archivos de trabajo.

• Acto seguido, realizaremos el setup que suele demorarse un buen tiempo. Al usar la versión gratuita de Colab tendremos recursos más reducidos, posiblemente podemos mejorar la capacidad y el tiempo de generación utilizando la versión pagada, eso aún no lo he probado.

• Nos corresponde entrenar el proyecto y es quizá la parte más compleja pues aquí usaremos nuestro prompt y configuraremos las variables necesarias para el resultado.

• El epoch_num es decisivo, pues si queremos tener un resultado medio para abajo solo nos bastaría 100, si queremos un resultado final, debemos usar 200. Esto claramente aumentará el tiempo de entrenamiento. En mi caso me demoré más de 3 horas.

En training setting agregaremos nuestro prompt, como estamos octubre, mes de halloween, decidí usar una calabaza lúgubre. No te preocupes que dejaré el prompt y el archivo 3D en mi patreon.

• Finalmente, en project name agregaré pumpkin y le damos play. Debemos ir revisando constantemente si el cuaderno está funcionando bien, pues el cuaderno puede fallar.

• Al finalizar verás un check verde al lado del play. Estos son nuestros archivos gráficos que nos indican cómo se ha ido generando el resultado final. Si entramos a nuestro drive podemos ver nuestros archivos generados 3D generados, al igual que las imágenes.

Finalmente activaremos “test setting” que nos permitirá guardar el video generado y los otros elementos mencionados. Completamos los últimos pasos y listo! Tenemos a nuestra calabaza de halloween. El archivo 3D se guardan como PLY y OBJ, ambos con vertex texture.

¿Qué te parece el resultado? Quizá no es tan definido pero recuerda que ha logrado generar este archivo a partir de unas líneas de texto, date cuenta lo impresionante que es eso.

Ahora, este archivo lo puedes llevar a Blender. Impórtalo en formato PLY, creas un material y en shader editor, añadimos “color attribute”, es así como veremos el color ¿genial verdad? Date cuenta que esto es recién la primera parte del trabajo, podemos trabajar con Realidad Aumentada, virtual y muchas cosas más.