La inteligencia artificial para crear, transformar y combinar imágenes está creciendo rápidamente, obviamente el usuario final puede disfrutar de esta tecnología para mejorar sus proyectos audiovisuales e inmersivos. Ante tantos proyectos como Stable Diffusion, Midjourney y más surge una opción que puede agrupar varias herramientas de inteligencia artificial, me refiero a Runway ML y su famosa AI Magic Tool.
La evolución de estas plataformas nos hace pensar sobre el futuro de la creatividad y el proceso de creación tanto para comunicadores como para ingenieros, artistas, educadores y más.
¿Qué es Runway ML?
Runway ML o simplemente Runway es una plataforma relativamente nueva, lleva un par de años en el mercado y comenzó como una solución online para editar videos que combinaba soluciones de inteligencia artificial “simples” como el quitar el fondo de un video. Este simple acto, que en realidad encierra un proceso complejo, es muy demandado por la comunidad. Runway supo entender al usuario y ahora ha lanzado una mayor cantidad de herramientas de manera oficial llamadas AI MAGIC Tool.
AI Magic Tools de Runway
Remove background
Como su nombre lo indica podemos borrar el fondo con tan solo pocos pasos, no es necesario usar fondo verde ni nada por el estilo. Esta herramienta es capaz de entender el cuerpo de la persona y su movimiento. Nosotros podemos agregar puntos específicos para generar la máscara. También podemos remover ciertas partes de la escena para tener un mejor acabado, inclusive podemos usar un pincel para pintar bien la máscara.
Text to image generation
Es el clásico text to image, muy parecido a lo que hace Stable Diffusion o Midjourney, donde podemos escribir una idea y luego se generará una imagen a partir de nuestro texto. Esto es potente porque podemos incorporar el resultado dentro de nuestro proceso de edición, todo en uno. Además podemos mejorar la imagen agregando el tipo de estilo que queremos y el mood que necesitamos para la foto.
Image to image
Este también es un proceso similar que Stable Diffusion o Dall-e-2 realizan para convertir o fusionar una imagen inicial por otra, agregando estilos o efectos manteniendo pero estructura base. Lo genial es que podemos usar toda esta tecnología dentro de una sola plataforma. Aquí también podemos ajustar la imagen, agregando estilos y mood.
Inpaiting
Esta tecnología nos permite borrar personas o elementos de cualquier video, esto realmente es super, pues a veces nos pasa que aparecen personas que malogran la toma y piensas que debemos hacer otra toma, pero con esto, podemos solucionar este inconveniente.
Replace Background
Ahora nos toca hablar sobre el trabajo con el background: Replace background y blur background son procesos muy parecidos a la primera herramienta que les comente, pero aquí lo que haremos será un proceso de trabajo integral. Por ejemplo en replace background, tenemos que generar una máscara y luego en el editor podemos agregar una imagen o video para hacer el efecto.
Blur Background
En el caso de Blur Background será similar a la anterior herramienta pues haremos el mismo proceso de generar la máscara y luego en el editor veremos el fondo blur gauseano. Puedes editar esa intensidad del fondo.
Export alpha matte
Vendría a ser un proceso natural de extraer el fondo, aquí podemos sacar el alpha de cualquier video siempre y cuando utilicemos las máscaras.
Motion Tracking
El add green background es muy similar a los trabajos con el fondo, así que nos saltaremos esta parte e iremos a trabajar con Motion Tracking. Esta herramienta nos permite trackear el movimiento de cualquier objeto dentro de un video, se podría decir que siempre va mantener el punto fijo haciendo que la camara se concentre y así agregar elementos como texto para que sigan el movimiento trackeado.
Erase and replace
Esta experiencia nos permite elegir una foto, seleccionar una parte de esa imagen y luego escribir un prompt para hacer la modificación de esa parte seleccionado. El proceso es impresionante y muy útil con su uso de inteligencia artificial.
Text to 3D Texture
Ahora podemos generar texturas para superficies 3D a través de un prompt, por ejemplo podemos escribir una idea con imágenes secuenciales / textura mosaico para lograr un producto que podamos usar para nuestros proyectos de realidad aumentada / realidad virtual
Clean audio
Y este es una herramienta ya conocida dentro del editor de Runway, pero que esta vez ha sido añadida dentro de AI Magic Tools. Aquí podemos limpiar el audio de elementos borroso y ruido ambiental. Lo he probado y se ha generado un resultado decente.
Generar transcripción
Esta tecnología te permite agregar subtítulos de manera automática a través de la inteligencia artificial. Es genial como detecta el inglés, el español del video que agregemos dentro del a linea de tiempo de Runway.
Text to color grade (LUT)
Esta funcionalidad te permite agregar un LUT dentro del video con tan solo describir cómo quieres que sea el producto visual.
Infinite Image
Con esta nueva herramienta podemos utilizar una imagen base para recrear sus elementos alrededor, logrando una imagen totalmente diferentes y mucho más amplia. Por ejemplo podemos generar nuevas historias.
Frame interpolation
Con esta funcionalidad podemos generar el efecto de interpolación cuando un objeto se convierta en otro con una suave transición. Es poderosa.
¿Qué te parece Runway ML? Esperemos que pronto agreguen más herramientas de inteligencia artificial para mejorar nuestro trabajo, por cierto existen librerías internas que se agrupan en “ML Lab” donde hay modelos entrenados para hacer efectos y experiencias super potentes, en fin hay un montón de opciones que podemos aprovechar.
