Runway, la start-up de inteligencia artificial (IA) generativa que el año pasado cocreó Stable Diffusion, el modelo de generación de imágenes a partir de texto, ha lanzado Gen-1. Este modelo de IA puede transformar vídeos ya existentes en otros nuevos al aplicar cualquier estilo especificado por un texto o imagen de referencia.

En una demostración publicada en su web, Runway muestra cómo su software puede convertir a las personas de una calle en muñecos de plastilina, o los libros apilados en una mesa en un paisaje urbano y nocturno. Runway espera que Gen-1 haga con el vídeo lo que Stable Diffusion hizo con imágenes. "Hemos visto una gran explosión en los modelos de generación de imágenes. Creo que 2023 será el año del vídeo ", afirma Cristóbal Valenzuela, CEO y cofundador de Runway. 

Runway fue fundada en 2018 y ha estado desarrollando software de edición de vídeos impulsado por IA en los últimos años. Sus herramientas son utilizadas por TikTokers y YouTubers, así como por los principales estudios de cine y televisión. Los creadores del programa The Late Show con Stephen Colbert utilizaron el software de Runway para editar los gráficos del programa. Otro ejemplo es el equipo de efectos visuales detrás de la exitosa película Everything Everywhere All at Once (Todo a la vez en todas partes, en España; y Todo en todas partes al mismo tiempo, en Latinoamérica), que utilizó esta tecnología para crear ciertas escenas.

En 2021, Runway colaboró con los investigadores de la Universidad de Munich (Alemania) para construir la primera versión de Stable Diffusion. Stability AI, la start-up con sede en Reino Unido, intervino para pagar los costes informáticos al entrenar el modelo con más datos. En 2022, Stability AI generalizó Stable Diffusion, transformando el proyecto de investigación en un fenómeno global.

Sin embargo, las dos empresas han dejado de colaborar. Getty ha tomado acciones legales contra Stability AI, alegando que la compañía utilizó imágenes de Getty sin permiso, y que estas aparecen en los datos de entrenamiento de Stable DiffusionPor su lado, Runway quiere mantener su distancia.

Gen-1 representa un nuevo comienzo para Runway. Sigue una serie de modelos de generación de vídeo basados en texto y revelados a finales del año pasado, como Make-a-Video de Meta y Phenaki de Google, que pueden generar videoclips muy cortos desde cero. También es similar a Dreamix, la IA generativa de Google presentada la semana pasada, que puede crear nuevos vídeos a partir de los ya existentes al aplicar estilos específicos. Al menos, a juzgar por la demostración de Runway, Gen-1 parece dar un paso adelante en la calidad del vídeo. Ya que transforma imágenes existentes, también puede producir vídeos más largos que la mayoría de los modelos anteriores. La compañía asegura que publicará detalles técnicos sobre Gen-1 en su web en los próximos días.

A diferencia de Meta y Google, Runway ha construido su modelo pensando en los clientes. "Este es uno de los primeros modelos desarrollados de manera conjunta con una comunidad de creadores de vídeo. Tiene detrás años de conocimiento sobre cómo los cineastas y los editores de efectos visuales trabajan en la posproducción", resalta Valenzuela. 

Gen-1, que se ejecuta en la nube a través de la web de Runway, está disponible para un puñado de usuarios invitados y se lanzará a los usuarios de su lista de espera en unas pocas semanas.

La explosión del año pasado en la IA generativa fue impulsada por millones de personas que tuvieron en sus manos poderosas herramientas creativas por primera vez y compartieron sus creaciones. Valenzuela espera que, al poner Gen-1 en manos de profesionales creativos, pronto tenga un impacto similar en el vídeo.

"Estamos muy cerca de generar largometrajes completos. Estamos cerca de un lugar la mayor parte del contenido online será generado", concluye Valenzuela.