La realidad aumentada que presentó ARCore en su última actualización fue un gran salto para empoderar los Selfies AR o mejor conocidos como filtros para rostros.
Este Selfie AR superpone contenido digital e información sobre el mundo físico. Existen varios ejemplos de Realidad Aumentada: la esperada versión aumentada de Google Maps es una de ellas. Google está haciendo grandes esfuerzos para mejorar su API de ARCore y este ejemplo Selfie AR es uno de ellos.
Hay una gran diferencia con esta nueva actualización de ARCore respecto a los competidores. El realismo de sus máscaras se debe al machine learning.
Google empleó el aprendizaje automático (machine learning) para inferir la geometría de la superficie 3D y de esta manera generar efectos visuales sin la necesidad de un sensor de profundidad dedicado. Este desarrollo permite crear efectos de AR, utilizando TensorFlow Lite. Ya se puede experimentar con este tecnología tanto en youtube stories como el SDK de ARCore.
Google utiliza de dos modelos de redes neuronales en tiempo real que funcionan en conjunto: uno detecta y opera la imagen completa para calcular las ubicaciones de las caras, y el otro modelo genera la malla 3D que opera esas ubicaciones y predice la geometría aproximada de la superficie mediante regresión.
Para la malla 3D, Google emplea transferencia de aprendizaje y “entrena” una red con varios objetivos: la red predice simultáneamente coordenadas de la malla 3D y contornos semánticos 2D en datos del mundo real.
El resultado final es un Selfie AR de calidad.
- Simulación de reflejos de luz a través de mapeo ambiental para renderizado realista de gafas.
- Iluminación natural proyectando sombras de objetos virtuales sobre la malla de la cara.
- Modelando oclusiones faciales para ocultar partes de objetos virtuales detrás de una cara, por ejemplo. Gafas virtuales, como se muestra a continuación.
La chica camina tranquilo por las calle. Todo parece normal y corriente, te sorprenderá saber que esos lentes no existen y se han creado a través de ARCore y machine learning.
Más información – > https://ai.googleblog.com/2019/03/real-time-ar-self-expression-with.html
