En mi anterior post hablé sobre LUT por primera vez, ahora agregaré el Face Deformation, que actualmente ya está permitido en Spark AR, para combinarlos. Explicaremos cuáles son las nuevas reglas y te mostraré dos métodos para distorsionar el rostro. Este un contenido muy completo donde verás lo mejor de dos técnicas de creación aumentada, bienvenidos al tutorial sobre Spark AR Face Deformation con LUT.
A principios de Agosto apareció una de las noticias más esperadas por muchos! Las políticas sobre alteración del aspecto facial. Hace meses el simple uso de trabajar con face deformation implicaba que nunca saldría tu filtro, ahora existen reglas más claras donde está permitido deformar el rostro siempre y cuando esté relacionada a una trasnformación fantástica. En este tutorial haremos un rostro lo más fantasioso posible.
Necesitamos tener plantillas de trabajo. Usaremos esta llamada distorting the face and adding retouch. Este es un archivo ya algo antiguo pero muy efectivo, descargamos. También necesitamos utilizar el face reference asset, aquí encontraremos diferentes tipos archivos 3d para el rostro y también texturas, descargamos. Por último necesitamos si o si el LUT Patch, ya sabes que esto está en el github de Josh, lo descargamos. Ahora vamos a Photoshop!
Tutorial LUT + Spark AR Face Deformation
En Photoshop vamos a editar una foto para crear el LUT, utilizamos el equilibrio de color, luego vamos a editar en modo curvas. También editamos su brillo/contraste. Ahora vamos a guardar los cambios visuales en formato CUBE para aplicar dichos efectos al LUT neutral. Guardamos el archivo en PNG. Vamos a Spark AR!
En Spark AR vamos a crear la experiencia con un proyecto en blanco. Agregamos el LUT, luego agregamos el patch FastColorLut y habilitamos el patch editor para lo próximo que vamos a trabajar. Por mientras vamos a obtener la textura de la camara. No te olvides que el LUT debemos desactivar su compresión automática y el sampling debe estar en none.
Necesitamos a agregar el camera texture, el LUT y el fastcolorlut en el patch editor. Tenemos que crear un rectángulo que cubrirá todo la pantalla, obviamente este rectángulo tendrá un material. Este material debe estar con su shader type en flat. Su textura se agregará en el patch editor. Ahora sí vamos a conectar todos los elementos.
Ahora crearemos un face tracker, luego un face mesh. Este face mesh claro que tendrá su material. Vemos cómo se traspasan los materiales, eso lo resolvemos fácilmente. Vamos al material 1 que es el nuevo elemento que acabo de agregar respecto al Face Mesh y entramos a advance render options y deshabilitamos el user depth test. Regresamos al face mesh y vamos a tocar la opción deformation. Agregaremos el archivo relacionado a la carpeta face distortion and retouching, llamaremos al face distortion pack.
De este lado aparecen todas las opciones para hacer cambios en el rostro, ya lo veremos en unos instantes. Ahora necesitamos sacar el texture extraction del face tracker. Esto lo llevamos hacia patch editor.
Este nuevo elemento también estará conectado con el fastcolorlut, obviamente nuestro LUT lo mantendremos y lo conectaremos de esta manera. El face tracker texture se conectará también con el fastcolorlut. El material 1 será el output, no te olvides que el shader type del material 1 estará en Flat. No olvidemos ese detalle, vemos como existe un bug en los ojos y boca. Esto se elimina sacando el check de eyes y mouth.
Ahora si! podemos modificar escala, también la posición relacionada al eje Z. Posiblemente lo más notorio sería aumentar la escala de los ojos. Mira como crece la nariz, también observa como crece la boca. Podemos también modificar la estructura del rostro, hacerlo más cuadrado o más estrecho y otros cambios adicionales, juguemos por unos segundos y cuando tengas el resultado que desees, vamos a probarlo.
El otro método es modificar la estructura del face mesh. Dentro de la carpeta de face asset utilizaremos el archivo OBJ y lo importaremos en Blender. Vamos hacia el modo sculpting y utilizaremos la herramienta Elastic deform y procedemos a hacer cambios en el rostro. Creo que lo más simple es siempre crear cuernos y alargar la barbilla.
Ahora cuando vamos a exportarlo necesitamos utilizar el spark ar toolkit de blender. Presionamos N para desplegar el menú y seleccionamos el addon. Te recomiendo que posiciones el objeto en center. Exportemos en formato GLTF, el archivo se llamará faceface.
Ya en Spark AR arrastraremos el archivo creado. Vamos hacia face mesh y en deformation cambiamos facedistortionpack por faceface. Podemos modificar la estructura moviendo este slide. El face mesh podemos moverlo cerca al rostro para hacer más realista el filtro…está quedando genial.
Patreon
Si desear apoyarme para mantener mi sitio web, puedes hacerlo y también recibirás los archivos de mis tutoriales de Spark AR Face Deformation accediendo a mi patreon.
