La reciente presentación por parte de OpenAI de su asombroso modelo generativo Sora mostró los límites la conversión de texto en vídeo. Ahora, Google DeepMind lleva esas posibilidades a la conversión de texto a videojuegos.

El nuevo modelo, llamado Genie, puede tomar una breve descripción, un boceto dibujado a mano o una foto y convertirlos en un videojuego al estilo de los clásicos de plataformas en 2D como Super Mario Bros. Pero no esperes nada rápido. Los juegos se ejecutan a un fotograma por segundo, frente a los 30 a 60 fotogramas por segundo típicos de la mayoría de los juegos modernos.

"Es un trabajo genial", dice Matthew Guzdial, investigador de IA de la Universidad de Alberta, que desarrolló un generador de juegos similar hace unos años.

Genie se entrenó con 30.000 horas de vídeo de cientos de juegos de plataformas en 2D extraídos de Internet. Según Guzdial, otros ya habían adoptado este enfoque. Su propio generador de juegos aprendió de los vídeos para crear juegos de plataformas abstractos. Nvidia utilizó datos de vídeo para entrenar un modelo llamado GameGAN, capaz de producir clones de juegos como Pac-Man.

Pero todos estos ejemplos entrenaban el modelo con acciones de entrada (como pulsar botones en un mando), además de secuencias de vídeo: un fotograma de vídeo que mostraba a Mario saltando se emparejaba con la acción Saltar, y así sucesivamente. Etiquetar secuencias de vídeo con acciones de entrada requiere mucho trabajo, lo que ha limitado la cantidad de datos de entrenamiento disponibles.

En cambio, Genie se entrenó únicamente con secuencias de vídeo. A continuación, aprendió cuál de las ocho acciones posibles haría que el personaje de un videojuego cambiara de posición. De este modo, incontables horas de vídeo en línea se convirtieron en posibles datos de entrenamiento.

Genie puede generar juegos sencillos a partir de bocetos dibujados a mano. / GOOGLE DEEPMIND

Genie genera cada nuevo fotograma del juego sobre la marcha en función de la acción que realice el jugador. Si pulsa “saltar”, Genie actualizará la imagen para mostrar al personaje del juego saltando; si pulsa “izquierda”, la imagen cambiará para mostrar al personaje desplazándose hacia la izquierda. El juego avanza acción a acción y cada nuevo fotograma se genera desde cero a medida que el jugador juega.

Las futuras versiones de Genie podrían funcionar más rápido. "No hay ninguna limitación fundamental que nos impida alcanzar los 30 fotogramas por segundo", afirma Tim Rocktäschel, investigador científico de Google DeepMind que dirige el equipo responsable del trabajo. "Genie utiliza muchas de las mismas tecnologías que los grandes modelos de lenguaje contemporáneos, en los que se han producido avances significativos en la mejora de la velocidad de inferencia".

Genie aprendió algunas peculiaridades visuales habituales en los juegos de plataformas. Muchos juegos de este tipo utilizan el efecto de paralaje, en el que el primer plano se desplaza lateralmente más rápido que el fond y. Genie suele añadir este efecto a los juegos que genera. 

Aunque Genie es un proyecto de investigación interno y no saldrá a la venta, Guzdial señala que el equipo de Google DeepMind dice que algún día podría convertirse en una herramienta de creación de juegos, algo en lo que él también está trabajando. "Estoy muy interesado en ver lo que construyen", afirma.

Patios de recreo virtuales

Pero los investigadores de Google DeepMind están interesados en algo más que la generación de juegos. El equipo detrás de Genie trabaja en el aprendizaje abierto, donde los robots controlados por IA se dejan caer en un entorno virtual y se les deja resolver diversas tareas por ensayo y error (una técnica conocida como aprendizaje de refuerzo).

En 2021, otro equipo de DeepMind desarrolló un patio de recreo virtual llamado XLand en el que los robots aprendían a cooperar en tareas sencillas, como mover obstáculos. Este tipo de sandboxes serán cruciales para entrenar a los futuros robots en una serie de retos diferentes antes de enfrentarlos a escenarios del mundo real. Los ejemplos del videojuego demuestran que Genie podría utilizarse para generar estos terrenos de juego virtuales.

Otros han desarrollado herramientas similares. Por ejemplo, David Ha en Google Brain y Jürgen Schmidhuber en el laboratorio de IA IDSIA en Suiza desarrollaron una herramienta en 2018 que entrenaba bots en entornos virtuales basados en juegos llamados modelos de mundo. Pero de nuevo, a diferencia de Genie, estos requerían que los datos de entrenamiento incluyeran acciones de entrada.

El equipo demostró cómo esta capacidad también es útil en robótica. Cuando se mostraron a Genie vídeos de brazos robóticos reales manipulando diversos objetos domésticos, el modelo aprendió qué acciones podía realizar ese brazo y cómo controlarlo. Los futuros robots podrían aprender nuevas tareas viendo tutoriales en vídeo. 

"Es difícil predecir qué casos de uso serán posibles", afirma Rocktäschel. "Esperamos que proyectos como Genie acaben proporcionando a la gente nuevas herramientas para expresar su creatividad".