Probarse zapatillas virtuales es una de las experiencias más interesantes que puede existir en la actualidad porque combina ecommerce con realidad aumentada. Una experiencia inmersiva con grandes resultados pues va a impulsar directamente las ventas del negocio. Hoy tendremos un tutorial con lens studio para que cres tu primer Virtual Try on Shoes.
Virtual Try On es una gran tendencia de uso comercial que está creciendo durante este periodo de aislamiento. Básicamente consiste en probar productos comerciales para saber cómo nos queda, para luego poder comprarlo via online. De esa manera se reducen los pain points de un proceso común de compra. Existen varios virtual try on, desde lentes, aros hasta zapatillas.
Este último punto es el más atractivo por el tremendo potencial que existe. Marcas como nike, puma, adidas han desarrollado experiencias de este tipo. Wannaby es una de las empresas que ha hecho posible este virtual try on; y es esta misma la que ha contribuido con Lens Studio a crear una plantilla dedicada a generar el foot tracking. Vamos a trabajarlo!
Lens Studio posee una serie de ejemplos con machine learning SnapML. Esta información se encuentra en su página web y por supuesto está el foot tracking example. Aquí podemos descargar los archivos para trabajarlo, pero ojo, aparte de reconocer los pies como marcadores o triggers de la experiencia, es necesario el objeto que se va visualizar; y ese es un proceso necesario de explicar.
Aquí hay dos caminos:
- El desarrollarlo enteramente en 3D. Donde tus skills en blender u otra plataforma te servirá para crear un objeto con su respectiva malla, textura y optimización para que pueda ser visualizado correctamente en plataformas como Lens Studio o Spark AR.
- El otro camino es digitalizar un objeto ya existente en el mundo como estos zapatos y realizarle un trabajo de fotogrametría para obtener el objeto 3D rápidamente. Opté por esta segunda opción. Para conocer más sobre el proceso he realizado un video sobre fotogrametría.
Necesitamos un conjunto de fotos tomadas al objeto. Son más de 50 fotos, luego estas serán utilizadas en un programa como Metashape. Según el programa que uses puedes validar la calidad de dicha fotos. Esto nos sirve para poder descartar imágenes que han sido mal tomadas o que no son tan precisas, luego vamos a alinear las fotos. Una vez completado este proceso verás los primeros avances. En estos momentos crearemos el dense cloud, posteriormente crearemos el 3d mesh.
Limpiamos algunas partes del objeto y luego lo convertiremos en formato FBX, quitamos la opción cámara, luego seleccionamos embed texture y lo guardamos!. Ahora vamos a Blender!
Blender – Virtual Try On Shoes
En blender lo que haremos básicamente es limpiar los vértices innecesarios. El proceso debe ser muy prolijo. Ahora acá hay un elemento importante… para este caso especial. Voy a exportar cada zapato de manera independiente en formato FBX. No olvides también de obtener la textura que has utilizado para más adelante, luego comprenderás el por qué de estos procesos!
Abrimos la plantilla foot tracking. Esta plantilla creada por WannaBy no solo nos dan el archivo del foot tracking más un simple objeto 3d sino también tiene elementos interactivos como la modificación de color al tocar ambos pies y otros detalles adicionales.
En el punto de “Left foot binding” se encuentra el archivo 3D y es justo ahí donde podemos reemplazar por nuestras zapatillas, lo mismo sucede con el right foot binding y si entramos de manera más precisa veremos el occluder. Más abajo encontraremos más información relacionado al full frame region, donde veremos la imagen previa que nos indicarán que busquemos los pies. En este punto podemos ocultar la información y solo dejar los elementos indispensables como el foot tracking controller.
Ese foot tracking controller veremos como conecta el foot binding de la derecha y de la izquierda, así como el archivo machine learning, por cierto aquí arriba está el ML Component, donde veremos el modelo principal llamado también foot tracking.
como paso final, vemos los triggers que nos permitirán activar elementos interactivos… para este sencillo ejemplo también lo ocultaremos… ahora veamos resource… en example asset encontraremos un archivo llamado “foot”… Vamos a unir nuestras zapatillas con este ejemplo archivo en Blender!!! No es netamente necesario realizar esta parte… podemos usar directamente nuestros archivos 3D y conectarnos hacia Lens Studio, pero para temas didácticos lo explicaré….
Este es el ejemplo que sale en blender! dos zapatillas y dos pantorrillas que hacen de archivo de oclusión. Aquí importamos nuestros dos archivos llamados previamente shoes. Eliminamos estas zapatillas y colocamos las nuestras. La importancia de conectar nuestro archivo 3d con estos occluder es que nos permite organizar correctamente todo la experiencia que trabajamos. Regresemos a Lens Studio.
Nuestro archivo FBX llamado Shoes_lensstudio lo importaremos dentro de la escena. Haremos zoom a la escena para ver de cerca a los actuales objetos 3d. Iremos retirando el material de cada zapatilla. Comenzaremos nuestro trabajo con shoe left. Aquí agregaremos nuestro archivo 3d, dentro de nuestro archivo presenta su propia jerarquía por cada zapatilla y su occluder. Elegimos este llamado model.
Ahora a nuestro model, le agregaremos nuestro material. Para eso creamos uno con una propiedad diffuse. Al material diffuse le agregaremos la textura de nuestra zapatilla que importaremos a continuación.
Patreon
Si desear apoyarme para mantener mi sitio web, puedes hacerlo a través de patreon y además tendrás los archivos de este tutorial llamado Virtual Try On Shoes con Lens Studio.
