Mezclar música con face deformation siempre ha sido una oportunidad genial para crear experiencias graciosas e interactivas! Hoy haremos eso y trabajaremos con el patch editor para que nuestro rostro se mueva con el sonido! Siempre he querido sacar estos tutoriales donde se utiliza el sonido para hacer lo visual. Este es mi tuto sobre Spark AR Music Reactive.
Primero necesitamos descargar la plantilla base de Face Distortion que nos proporciona Spark AR. Entramos a esta página e iniciamos la descarga. Estas son las carpetas que existen en la plantilla, seleccionamos Face Distortion finished y puedes ver que en objects encontraremos este archivo 3D: FaceDistortionPack. Lo utilizaremos más adelante. Vamos hacia Spark AR
Abrimos Spark AR y creamos un nuevo proyecto vacio. Arastramos el distortion pack, creamos un face tracker. A este face tracker le crearemos su face mesh y ahora lo que haremos es entrar a la opción deformation y elegimos nuestro distortion pack. Ampliamos el video preview para apreciar mejor. Aquí puedes ver el detalle de la modificación cuando manipulamos uno de estos elementos. Podemos ver como los ojos se amplían, así como la nariz.
Antes de empezar con el music reactive, agregaremos un retoque facial. Para eso crearemos otro face mesh. Agregaremos un nuevo material. Este material debe estar en la opción retouching. En skin smoothing debe estar alrededor de 20% para que no se vea muy irreal.
Ahora habilitaremos el patch editor. En estos momentos creamos un speaker. Para trabajar con instagram music debemos modificar las propiedades del proyecto. Debemos seleccionar solo la plataforma: instagram. Ahora sí, vamos a crear el instagram music. Luego llamaremos al energy meter, conectamos todo de esta manera. En el siguiente paso agregaremos un transition.
Este transition está en vector 3. Necesitamos usarlo en la opción number. Conectaremos energy con progress y ahora sí usaremos el distortion pack, podemos seleccionar el eye scale left y el eye scale right y lo conectamos. Para notar la potencia del music reactive aumentamos el numero END hasta 5.
Modificaciones para el Spark AR Music Reactive
No solo puedes agregar la escala de los ojos, también agregaremos otras partes del rostro, para eso necesitamos incluir otro patch transition. Será conectado con el energy left. Llamaremos el nose_scale y lo conectaremos. Haremos lo mismo para la boca, por eso crearemos otro transition y repetimos el proceso, pero en este caso con el energy right. Probaremos este proceso.
Quiero que la reacción no se de al mismo tiempo, por ello usaremos el patch delay. Lo conectaremos entre este transition y el mouth scale. El delay será de 2 segundos. Haremos lo mismo con el nose scale, pero con el delay de 1 segundo. Finalmente solo usaremos un delay de 3 segundos para el eye left.
Definitivamente estaré dentro de mis cuenta de Instagram: @emiliusvgs!
Patreon
Si desear apoyarme para mantener mi sitio web, puedes hacerlo y también recibirás los archivos de mis tutoriales de Spark AR Music Reactive + Face Deformation accediendo a mi patreon.
