Cuando los sistemas de IA pueden controlar múltiples fuentes simultáneamente, el potencial de daño se dispara. Necesitamos mantener a los humanos en el proceso. 

Los agentes de IA han generado un gran debate en la industria tecnológica. A diferencia de los chatbots, estos sistemas operan fuera de una ventana de chat y pueden navegar por múltiples aplicaciones para ejecutar tareas complejas, como programar reuniones o realizar compras en línea, con simples comandos de los usuarios. A medida que estos agentes se vuelven más avanzados, surge una cuestión clave: ¿cuánto control estamos dispuestos a ceder y a qué precio? 

Cada semana se anuncian nuevas funcionalidades y mejoras en estos sistemas, y las empresas los presentan como una forma de facilitar la vida cotidiana, encargándose de tareas que los usuarios no pueden o no quieren hacer. Ejemplos destacados incluyen el «uso del ordenador» de Claude, un sistema de Anthropic que permite a la IA actuar directamente en la pantalla del usuario, y el agente general de IA Manus, capaz de utilizar herramientas en línea para diversas tareas, como buscar clientes o planificar viajes. 

Estos avances representan un salto significativo en la inteligencia artificial: sistemas diseñados para operar en el mundo digital sin supervisión humana directa. 

La idea resulta atractiva. ¿Quién no querría ayuda con tareas tediosas o que consumen demasiado tiempo? Estos agentes podrían, por ejemplo, recordarte preguntar a un compañero sobre el torneo de baloncesto de su hijo o encontrar imágenes para tu próxima presentación. En poco tiempo, incluso podrían crear esas presentaciones por ti. 

Su potencial también podría marcar una gran diferencia en la vida de muchas personas. Para quienes tienen dificultades de movilidad en las manos o baja visión, estos agentes podrían realizar tareas en línea mediante comandos de voz sencillos. Además, podrían coordinar asistencia en situaciones críticas, como redirigir el tráfico para facilitar evacuaciones en caso de desastres. 

Sin embargo, la autonomía creciente de estos sistemas también plantea riesgos significativos. Nuestro equipo de investigación en Hugging Face ha pasado años estudiando e implementando estos agentes, y los hallazgos recientes indican que podríamos estar al borde de un error grave. 

Ceder el control, paso a paso 

Esta cuestión fundamental es la esencia de lo que resulta más emocionante de los agentes de IA: cuanto más autónomo es un sistema de IA, más cedemos el control humano. Diseñados para ser flexibles, estos sistemas pueden ejecutar tareas sin necesidad de programación directa. 

Para muchos sistemas, esta flexibilidad es posible porque se basan en grandes modelos de lenguaje, que son impredecibles y propensos a errores significativos (y a veces absurdos). Cuando un LLM genera texto en una interfaz de chat, cualquier error queda limitado a esa conversación. Sin embargo, si un sistema puede actuar de forma independiente y acceder a múltiples aplicaciones, podría realizar acciones no deseadas, como manipular archivos, suplantar identidades o realizar transacciones no autorizadas. La misma característica que se vende—la reducción de la supervisión humana—es, en realidad, su principal vulnerabilidad. 

Los niveles de autonomía en los agentes de IA 

Cuanto más autónomo es un sistema, mayor es la pérdida de control humano. Los sistemas multiagente pueden combinar agentes con distintos niveles de autonomía. Estos niveles no explican todo el panorama, pero ofrecen un marco básico para comprender qué son los agentes de IA. Cada nivel conlleva beneficios potenciales, pero también riesgos. Para más información sobre los agentes y sus niveles de autonomía, consulta nuestro curso sobre agentes de IA. 

Para comprender el equilibrio entre riesgos y beneficios, es útil clasificar los sistemas de agentes de IA en un espectro de autonomía. En el nivel más bajo se encuentran los procesadores simples, que no influyen en el flujo del programa, como los chatbots que te saludan en la web de una empresa. En el nivel más alto, los agentes totalmente autónomos pueden escribir y ejecutar código sin restricciones ni supervisión humana, lo que les permite realizar acciones como mover archivos, modificar registros o enviar correos electrónicos sin que se les haya solicitado. 

Los niveles intermedios incluyen enrutadores, que eligen qué pasos seguir a partir de las instrucciones de los humanos; llamadores de herramientas, que usan las funciones creadas por personas con las herramientas recomendadas por los agentes; y agentes de múltiples pasos, que deciden qué hacer, en qué momento y de qué manera. Es decir, con cada nivel se va cediendo más control humano. 

Aunque estos agentes pueden ser muy útiles en la vida diaria, también generan preocupaciones en cuanto a privacidad, seguridad y protección de datos. Un agente que te ayude a mantener el contacto con alguien necesitaría recopilar información personal y supervisar tus interacciones anteriores, lo que podría suponer una grave violación de la privacidad. 

Del mismo modo, un agente capaz de interpretar planos de edificios podría ser utilizado con fines malintencionados para acceder a zonas restringidas. Y si estos sistemas pueden gestionar simultáneamente fuentes de información pública y privada, el riesgo de daños se multiplica. Por ejemplo, un agente con acceso a mensajes privados podría compartir información confidencial en redes sociales sin que los sistemas de verificación tradicionales detectasen el error. No sería extraño que pronto escuchemos la excusa: «¡No fui yo, fue mi agente!». 

La importancia de la supervisión humana 

La historia nos muestra por qué es crucial mantener la supervisión humana. En 1980, los sistemas informáticos detectaron erróneamente que más de 2.000 misiles soviéticos se dirigían a Norteamérica. Este fallo activó protocolos de emergencia que nos pusieron al borde de una catástrofe. Lo que evitó el desastre fue la verificación cruzada realizada por personas a través de distintos sistemas de alerta. Si la toma de decisiones hubiera estado completamente en manos de sistemas autónomos que priorizan la rapidez sobre la certeza, el resultado podría haber sido fatal. 

Algunos defienden que los beneficios justifican los riesgos, pero creemos que no es necesario renunciar por completo al control humano. En cambio, el desarrollo de los agentes de IA debe avanzar junto con el desarrollo de una supervisión humana garantizada, de manera que se limite el alcance de lo que los agentes de IA pueden hacer. 

Los sistemas de agentes de código abierto son una forma de mitigar riesgos, ya que permiten una mayor supervisión humana sobre lo que pueden y no pueden hacer. En Hugging Face estamos desarrollando smolagents, un marco que ofrece entornos seguros y aislados, permitiendo a los desarrolladores crear agentes con la transparencia como principio fundamental. De este modo, cualquier grupo independiente puede verificar si existe un control humano adecuado. 

Este enfoque contrasta radicalmente con la tendencia actual de crear sistemas de IA cada vez más complejos, que por falta de transparencia terminan ocultando sus procesos de toma de decisiones tras capas de tecnología propietaria, de modo que se vuelve difícil garantizar su seguridad. 

A medida que avanzamos en el desarrollo de agentes de IA más sofisticados, debemos recordar que el objetivo de cualquier tecnología no es solo mejorar la eficiencia, sino también garantizar el bienestar humano. 

Es fundamental que estos sistemas sigan siendo herramientas y no sustitutos de la toma de decisiones. A pesar de sus imperfecciones, el juicio humano sigue siendo esencial para asegurar que estas tecnologías sirvan a nuestros intereses en lugar de ponerlos en peligro. 

Margaret Mitchell, Avijit Ghosh, Sasha Luccioni y Giada Pistilli forman parte de Hugging Face, una startup global enfocada en el desarrollo responsable de IA de código abierto. 

Dr. Margaret Mitchell es investigadora en aprendizaje automático y Chief Ethics Scientist en Hugging Face, donde trabaja en la conexión entre los valores humanos y el desarrollo tecnológico. 

Dr. Sasha Luccioni es Climate Lead en Hugging Face, liderando investigaciones, consultorías y programas de capacitación para mejorar la sostenibilidad de los sistemas de IA. 

Dr. Avijit Ghosh es investigador en políticas aplicadas, especializado en el cruce entre IA responsable y regulación. Su trabajo con legisladores ha influido en la regulación y las prácticas de la industria. 

Dr. Giada Pistilli es investigadora en filosofía y Principal Ethicist en Hugging Face, enfocada en cuestiones éticas de la IA.