Los robots son buenos en determinadas tareas. Son fantásticos para coger y mover objetos, por ejemplo, e incluso están mejorando sus habilidades de cocina.

Pero si bien los robots pueden completar fácilmente este tipo de tareas en un laboratorio, lograr que trabajen en un entorno desconocido donde hay pocos datos disponibles es un verdadero desafío.

Un nuevo sistema llamado OK-Robot podría entrenar robots para recoger y mover objetos en entornos que les son desconocidos. Este enfoque podría cerrar la brecha entre los modelos de IA que mejoran rápidamente y las capacidades reales de los robots, ya que no requiere ninguna capacitación adicional, costosa y compleja.

Para desarrollar el sistema, investigadores de la Universidad de Nueva York y Meta probaron Stretch, un robot disponible comercialmente fabricado por Hello Robot que consta de una unidad con ruedas, una barra vertical y un brazo retráctil, en un total de 10 habitaciones en cinco casas.

Mientras estaba en una habitación con el robot, un investigador escaneaba su entorno usando Record3D, una aplicación de iPhone que utiliza el sistema lidar del teléfono para tomar un video en 3D y compartirlo con el robot.

Luego, el sistema OK-Robot ejecutó un modelo de detección de objetos de IA de código abierto en los fotogramas del vídeo. Esto, en combinación con otros modelos de código abierto, ayudó al robot a identificar objetos en esa habitación, como un dragón de juguete, un tubo de pasta de dientes y una baraja de cartas, así como ubicaciones alrededor de la habitación, incluidas una silla, una mesa, y un bote de basura.

Luego, el equipo le indicó al robot que recogiera un elemento específico y lo trasladara a una nueva ubicación. El brazo de pinza del robot lo hizo con éxito en el 58,5% de los casos. La tasa de éxito aumentó hasta el 82% en las salas menos abarrotadas, según señala la investigación, que aún no ha sido revisada por pares.

El reciente auge de la IA ha dado lugar a enormes avances en las capacidades de lenguaje y visión por computadora, lo que ha permitido a los investigadores de robótica acceder a modelos y herramientas de IA de código abierto que no existían ni siquiera hace tres años, según explica Matthias Minderer, científico investigador senior de visión por computadora de DeepMind (Google), quien no participó en el proyecto.

"Yo diría que es bastante inusual depender completamente de modelos disponibles en el mercado y que es bastante impresionante lograr que funcionen", explica Minderer.

"Hemos visto una revolución en el aprendizaje automático que ha hecho posible crear modelos que funcionan no sólo en laboratorios, sino también en el mundo abierto. Ver que esto realmente funciona en un entorno físico real es una información muy útil", añade.

Debido a que el sistema de los investigadores utilizó modelos que no estaban ajustados a este proyecto en particular, cuando el robot no pudo encontrar el objeto que se le ordenó buscar, simplemente se detuvo en seco en lugar de intentar encontrar una solución. Esa importante limitación es una de las razones por las que el robot tenía más probabilidades de tener éxito en entornos más ordenados: menos objetos significaban menos posibilidades de confusión y un espacio más despejado para la navegación.

Usar modelos de código abierto ya preparados fue a la vez una bendición y una maldición, dice Lerrel Pinto, profesor asistente de informática en la Universidad de Nueva York, quien codirigió el proyecto.

"El lado positivo es que no es necesario proporcionar al robot ningún dato adicional de entrenamiento en el entorno, simplemente funciona", afirma Pinto. “En el lado negativo, sólo puede recoger un objeto y soltarlo en otro lugar. No puedes pedirle que abra un cajón, porque sólo sabe hacer esas dos cosas”.

La combinación de OK-Robot con modelos de reconocimiento de voz podría permitir a los investigadores dar instrucciones simplemente hablando con el robot, lo que les facilitaría experimentar con conjuntos de datos fácilmente disponibles, según afirma Mahi Shafiullah, estudiante de doctorado de la Universidad de Nueva York que codirigió la investigación.

"Existe un sentimiento muy generalizado en la comunidad [de la robótica] de que los hogares son difíciles, los robots son difíciles y combinar hogares y robots es simplemente imposible. Creo que una vez que la gente empiece a creer que los robots domésticos son posibles, se empezará a trabajar mucho más en este campo", concluye Shafiullah.