Seguimos con los tutoriales de Lens Studio. En esta ocasión hablaremos sobre object detection utilizando el poderoso Snap ML, es decir, Lens Studio Snapchat con Machine Learning. Comenzaremos a hablar los elementos básicos para introducirnos en el mundo de Lens Studio Object recognition.
Como ya habíamos visto en el anterior video, super recomendado para que entiendas más sobre SnapML, toda la información para iniciar se encuentra en la documentación oficial. En este caso de object detection nos dejarán archivos de trabajo y la plataforma donde iniciar el entrenamiento del modelo que es Google Colaboratory.
Miramos los archivos que nos proprocionaron y veremos dos elementos importantes: la imagen de prueba y el archivo con la extensión IPYNB. El archivo tiene como ejemplo reconocer autos. Nosotros en este caso reconoceremos libros.
Cuando entremos a Google Colaboratory podemos fácilmente subir el archivo de trabajo y autometicamente tendremos esta vista. Los códigos y sus explicaciones de cada apartado. De esa manera comprendemos mejor que estamos haciendo, para personas como yo que estamos explorando machine learning con estos primeros pasos, nos sirve un montón.
Desde el punto 1 nos indican que la data que utilizan para entrenar es de COCO y esta posee más de 80 categorías de objetos de entrenamiento, por ejemplo entremos a su página. Busquemos book y veremos varios ejemplos de cómo detecta dicho objeto dentro de una escena.
En “Object labels union” elegiremos un conjunto de objetos relacionados o en todo caso solo uno como en mi caso que agrego: “book”. podemos leer detenidamente cada parte del código. Yo te recomiendo que leas el punto 10 donde nos pedirán una imagen para validar el trabajo. La foto que tomarás debe tener una buena luz y con los objetos que vas a trabajar. Ya hablaremos de eso más adelante. Ahora vamos a entorno de ejecución -> ejecutar todas. esperemos un tiempo para que haga su trabajo.
Como les mencione sobre la imagen. Arrastramos hacia el proyecto y la mencionaremos correctamente en el punto 10. Cuando llegue a ese proceso, la herramienta va testear el object recognition. Ahora vamos a descargar el archivo generado. En este ejemplo está escondido dentro de unas carpetas. Ahora vamos a Lens Studio.
Iremos hacia a la plantilla Object recognition. Veremos toda la información necesaria para indicar la cantidad de elementos reconocidos. Esta archivo ya viene predeterminado para detectar auto. Lo primero que haremos es entrar a ML Controller. Aquí usaremos nuestro modelo creado anteriormente. Lo hemos llamado “book” y lo importamos.
Ahora vamos a ocultar otros elementos gráficos como loader, hint y otros componentes. Dejaremos vigente el “detection box”, usaremos este “small hint” para transformarlo y crear un indicador más llamativo. Lo pondremos arriba de la experiencia, ya que vamos a leer libros buscaré una imagen relacionada a esto. Como paso adicional agregaré un componente. un “liquify”. Para dar una apariencia interesante y realizamos un ajuste simple.
Patreon
Si desear apoyarme para mantener mi sitio web y descargar los archivos de trabajo de Lens Studio Object recognition, puedes hacerlo accediendo a mi patreon.
