Hoy vamos hablar de LiDAR, este sensor de los nuevos iPhone que posiblemente marquen un antes y después en la realidad aumentada. Desde hace poco tengo un iPhone 12 Pro en mis manos y me he dedicado a probarlo para poder darles este análisis. ¡Empecemos!
Una herramienta para virtualizar el mundo
Si estás aquí es porque quieres conocer de manera profunda lo que es LiDAR en iPhone, sus usos y el posible cambio en el mercado que este hardware representa. Primero lo que debes saber es que este sensor está disponible solo para el iPhone 12 pro, iPhone pro max y el iPad pro 2020.
LiDAR significa ‘light detection and ranging’ y no es tecnología nueva, pues se usa para trabajos de topografía, escaneo de superficies y temas relacionados como por ejemplo: preservar monumentos históricos. Lo revolucionario aquí es que esa tecnología esté integrada en un smartphone. Por ende también es justo decir que los LiDAR especializados no serán relegados, pues el LiDAR incluido en los iPhone se usa con diferentes objetivos.
Para comprender mejor hay que explicar el concepto. LiDAR permite determinar la distancia desde un emisor láser a un objeto o superficie. La distancia al objeto se determina midiendo el tiempo entre la emisión y su detección. Esto permitirá posicionar de mejor manera los elementos que queremos desplegar con realidad aumentada. Además, que nos dará un mapeo rápido para hacer fotogrametría a alto nivel, a esto yo le llamo “virtualizar recuerdos” y, por supuesto, sirve para tener una mejor calidad de fotos.
Con este sensor, Apple intenta tomar la delantera. Quizá te estás preguntando: ¿y Android no tiene algo similar? Lamentablemente, no existe un estándar entre los dispositivos Android, aunque en algunos de gama alta poseen algo llamado ‘time of flight’ (ToF).
Por ejemplo, Samsung tiene el DepthVision Camera que permite entender la profundidad del entorno y calcular distancia entre la cámara y los objetos. Por ello, permite que los elementos se posicionen mejor dentro de la realidad aumentaday, además, calcule la medición del espacio circundante.
Si bien el ToF es una gran iniciativa, lamentablemente, debido a la fragmentación del propio Android y las marcas que la utilizan, no existe un estándar en su implementación ni de su constancia en el futuro; y eso hace que este impulso se diluya. ¿Recuerdan el proyecto Tango? Desapareció. Pues algo similar puede pasar, aunque ahora con Apple en la carrera, sí o sí intentarán emularlo.
LiDAR y el iPhone 12 Pro en acción
Si hay algo que Apple hace bien, es que el hardware y software están muy bien entrelazados. Su LiDAR no es un sensor solitario, es utilizado y complementado con aplicaciones propias y de terceros, además permite su uso y desarrollo con ARKIT 4.
Ahora te mostraré algunos ejemplos para explicarte su capacidad de detectar superficies. En este caso, usaremos Polycam. Esta es una de mis apps favoritas. Mapeamos el entorno de este contenedor de basura y automáticamente obtendremos el espacio en 3D con su texturas correspondientes.
Podemos editarlo e incluso proyectarlo en realidad aumentada, date cuenta que eso se realizó en pocos minutos, ya si quisiéramos detalle tendríamos que realizar otro método.
Gracias al LiDAR también se puede entender el entorno y tener una aproximación sobre las dimensiones. Por ejemplo, en este otro mapeo, podemos ver que una habitación mide 2 metros con 60 centímetros de largo. Según lo que pude analizar desde lejos, acá también detectó otra pared y su espacio próximo que mide aproximadamente 1 metro 85 cm.
El mapeo es instantáneo y es capaz de mantener la información capturada, no se va perder ni distorsionar y sobre todo podemos descargarla según la aplicación que estemos usando.
Como había mencionado, se puede utilizar con ARKIT4 para generar experiencias de realidad aumentada mucho más realistas y potentes y si queremos hablar de otras plataformas que no sean Apple tenemos dos casos: Vuforia y Lens Studio de Snapchat.
Vuforia tiene una funcionalidad llamada vuforia area target que permite mapear el espacio y guardar la data para luego crear una experiencia de realidad aumentada con puntos de interés. Es decir, posicionamiento exacto de los elementos. Algo que es ideal para el indoor marketing, hecho de una manera más automatizada, recortando proceso y tiempo de trabajo.
Lens studio es la plataforma de creación de lentes / filtros de realidad aumentada de Snapchat. Este programa permite utilizar LiDAR para crear experiencias más inmersivas, además tiene plantillas para que puedas crear sin problemas. Mira este ejemplo, el detalle es sorprendente.
Como podrás darte cuenta, en pocos meses desde su lanzamiento ya tenemos un ecosistema detallado de usos y funcionalidades con LIDAR y por supuesto no solo se quedará ahí pues seguirá evolucionando para aplicarse en soluciones cada vez más integrales.
Experimentando más con LiDAR en iPhone 12 PRO
He querido probar LiDAR en espacios distintos a los que probé anteriormente. Hoy vamos a hacer pruebas y llegaremos hasta el límite de su capacidad para mapear superficies. Para hacer los experimentos utilizaremos dos apps: Polycam y 3D scanner app.
Ambas apps mapean el espacio y crean una malla para reconstruir tridimensionalmente una escena. Probaremos 4 escenarios: un paisaje urbano, un lugar cerrado con varios objetos, un lugar cerrado con objetos medianos y objetos pequeños. Como extra: mapearemos un rostro.
Comenzaremos por el paisaje urbano
En este caso, usaremos Polycam para virtualizar una pared. Mapear en la calle es un poco complicado porque es ideal que no aparezcan las personas, primero por privacidad a ellas y segundo porque distorsionan el mapeo. Punto a favor: solo requieres segundos para capturar un espacio. Claro, dependerá de qué tan grande es el espacio que vas a virtualizar. Así se ve lo que hemos virtualizado una vez subido a Sketchfab.
Vamos con otro escenario
Esta vez una exposición en un espacio abierto. Acá la situación cambia un poco, es un día muy soleado frente al mar. Para escanear, utilicé 3dscanner app. Aquí estoy en una exposición sobre la mayor protesta ciudadana del Perú realizada el año pasado. Esperemos que se cargue la textura y ya tenemos el espacio virtualizado.
Podemos entender claramente que para realizar estos escaneos se requieren pocos pasos. Para conseguir un buen resultado nada como tener superficies grandes y planas.
Si bien LiDAR parece funcionar muy bien en lugares amplios, tienen un rango de 5 metros aproximadamente. Es decir, desde el punto donde estás comenzando a recopilar la data hasta 5 metros.
En este ejemplo, utilizo una app llamada Scaniverse y puedes darte cuenta que hay una franja roja indicando el límite. Obviamente, se puede solucionar si seguimos avanzando, pero toma en cuenta que es difícil alcalzar las superficies altas.
Ahora vamos a trabajar en lugares cerrados
Ya sabemos que en lugares amplios no hay problema sobre todo si son elementos planos. Lugares cerrados que tengan la misma condición no presentarán inconvenientes, pero ¿qué pasa si tomamos un lugar que tiene varios elementos? Por ejemplo, mi área de trabajo tiene varios objetos y puede complicar las cosas.
Pasamos unos segundos cubriendo toda la zona con polycam y este es el resultado.
Para ser un trabajo rápido, ¡no está nada mal! Pero claro no es perfecto, igual me parece digno de compartir. Probemos con 3dscanner app con un ajuste personalizado. Mapeamos las superficies y este sería el resultado final.
Tenemos una buena textura, pero hay ciertos huecos en la malla y esto tiene que ver con el tipo de superficies, la poca luz que tiene este cuarto, algunos puntos brillantes y posiblemente la forma como capturé la información. La clave aquí es hacer smooth a tus estructuras 3d y esto dependerá de la aplicación que uses, o en todo caso el trabajo de postproducción que realices.
Ahora probemos escaneando objetos pequeños y medianos
Vamos a escanear un plato, este proceso es bien corto. Me he dado cuenta, ya con la experiencia de uso, que no es necesario pasar tantas veces a un objeto de pocas dimensiones. Bueno, el resultado está muy interesante.
Este es un objeto pequeño y plano, pero ¿qué pasa con objetos pequeños y con forma robusta? Capturé una pequeña planta en segundos y el resultado no es el óptimo. Probemos con un muñeco de Pikachu y obtendremos el mismo resultado.
Si virtualizamos un escenario mediano como la distribución de las verduras en el supermercado, el resultado será mejor en ciertos puntos.
En otras partes, será necesario ajustarlo, ten en cuenta el contexto, aquí estaba en un lugar donde hay personas circulando. Traté de hacerlo rápido y hay puntos en los que no llegaba, claramente se puede mejorar. Diversos espacios llegan a ser más complejos de mapear.
Iremos con un último ejemplo: el rostro
El mapeo de rostro requiere mayor precisión. Trabajando con ambas apps que mencioné al inicio, tenemos resultados ambiguos. Escanear detalles no es el punto fuerte de LiDAR (foto de la izquierda). Podemos utilizar otras técnicas como la fotogrametría, mira este ejemplo, lo hice con varias fotos y un proceso de renderizado con metashape (foto de la derecha).
No me malinterpreten, LiDAR es fenomenal, pero mapear quizá objetos pequeños o superficies complejas es un gran desafío. Dependerá del hardware y de nuestra destreza, y claro, también es recomendable preparar la escena. LiDAR es poderoso pero también tiene limites.
Te recomiendo que veas la tendencia de 3d scan en Twitter. Alban Deyonel, co-founder de Sketchfab, está impulsando la dinámica de realizar scans diarios. Mira los ejemplos y comprende más sobre las capacidades de esta tecnología.
A medida que vaya evolucionando tanto en hardware y software obtendremos mucho más detalle de escaneo. ¿Qué te pareció esta explicación sobre el LiDAR en iPhone 12 Pro? Si te pareció interesante, te invito a ver los vídeos completos. ¡Nos vemos en el metaverso!
Si desear apoyarme para mantener mi sitio web, puedes hacerlo y también recibirás los archivos de mis tutoriales de Spark AR accediendo a mi patreon.
