En el post anterior hablé sobre el proyecto PIFuHD y cómo podemos utilizarlo en experiencias de realidad aumentada con Spark AR. Ahora agregaré más complejidad utilizando Mixamo, para animar tu clone. Cuando combinas varias plataformas aumenta la creatividad y la capacidad de detallar el producto final. Hoy veremos un tutorial sobre PIFuHD Spark AR mixamo.
En el video anterior hablé largo y tendido sobre este proyecto que permite generar un humano 3d a partir de una sola foto, así que te recomiendo que lo revises. Iremos directo a trabajar: necesitamos tener una imagen base. Me tomé esta foto y luego pasé a remove background para eliminar el fondo. Ahora entramos al archivo PIFuHD de Google Colaboratory, copiamos en nuestro drive. Le cambiamos el nombre del archivo y luego le damos clic a conectar. Comenzamos a trabajar haciendo clic a cada botón de play.
En este apartado agregaremos la imagen que trabajamos, cambiamos la ruta del archivo y seguimos con el proceso. Ya sabes que los objetos y video se encontrarán en esta carpeta llamado: results. Ahora vamos a Blender!
En blender importaremos el archivo OBJ. Al hacerlo, debes visualizarlo de esta manera, le hacemos clic al objeto mismo y luego hacemos TAP para irnos al modo editor. Vamos a material properties y veremos que ya hay un material asignado, por ello entramos a uv editing, presiono “Y” para visualizarlo frontalmente. Luego vamos a importar la imagen con la que trabajamos. En la opción UV, entramos a project from view, ajustamos la malla.
Luego iremos a shader editor por este medio y para agregar el image texture usaremos el SHIFT + A para buscarlo. Aquí llamaremos nuestra imagen. Finalmente regresamos a layout y visualizamos la textura. Se ve muy bien, pero bueno en la nuca vemos nuestro rostro nuevamente, ya sabemos que debemos hacer. Cuando tengas todo listo, vamos a exportar en formato FBX. Ahora vamos a Mixamo!
PIFuHD Spark AR mixamo
Mixamo es una plataforma de Adobe para crear rápidamente personajes animados para tus proyectos. Lo genial de esto es que puedes agregar tu propio archivo y luego implementar la animación que desees. Tiene decenas de ejemplos, debes tener cuenta para ingresar a Mixamo. Subimos el archivo FBX. Cuando veamos el archivo estará sin textura (no te preocupes). Nos darán opciones para conectar con las partes correspondientes del cuerpo. Le damos aceptar y nuevamente esperamos. Ya lo tenemos listo, ahora ya podemos agregar animaciones, por ejemplo breakdance de 1990. Lo descargamos. Recuerda que debes elegir la opción with skin.
¿Se preguntarán porque regresamos a blender si ya tenemos el archivo? Lo hacemos porque es necesario optimizar. Spark AR no le gusta muchos vértices y con esto me refiero a los objetos que tienen más de 20 mil.
Para optimizarlo vamos a darle clic al objeto y luego en “modifier properties”. Vamos a la opción decimate. Reducimos hasta 0.3 y luego le damos apply. Una vez que tengamos listo, lo exportamos en formato GLB. No he utilizado el método de Spark AR toolkit, pero creo que funcionaría de la misma manera. Ahora sí vamos a Spark AR!
En Spark AR abrimos en modo plane tracking. Importamos nuestro archivo, dicho archivo lo colocamos dentro de la jerarquía de placer. Reducimos su escala y en la opción de animación creamos un animation controller. Este se conectará automáticamente con la animación ya implementada.
Patreon
Si desear apoyarme para mantener mi sitio web y descargar los archivos de trabajo de PIFuHD Spark AR mixamo, puedes hacerlo accediendo a mi patreon.
