Los seres humanos somos complicados. Las formas en que nos comunicamos son múltiples, y los psicólogos han ideado muchos tipos de pruebas para medir nuestra capacidad de inferir significado y comprensión de las interacciones entre nosotros.

Los modelos de inteligencia artificial son cada vez mejores en estas pruebas. Según un nuevo estudio publicado en Nature Human Behavior, algunos modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) rinden tan bien como los humanos, y en algunos casos mejor, cuando se les presentan tareas diseñadas para poner a prueba la capacidad de rastrear los estados mentales de las personas, lo que se conoce como "teoría de la mente".

Esto no significa que los sistemas de IA sean capaces de averiguar cómo nos sentimos. Pero sí demuestra que estos modelos rinden cada vez mejor en experimentos diseñados para evaluar capacidades que los psicólogos consideran exclusivas de los humanos. Para saber más sobre los procesos que subyacen a los éxitos y fracasos de los LLM en estas tareas, los investigadores querían aplicar el mismo enfoque sistemático que utilizan para probar la teoría de la mente en humanos.

En teoría, cuanto mejor imiten los modelos de IA a los humanos, más útiles y empáticos parecerán en sus interacciones con nosotros. Tanto OpenAI como Google anunciaron la semana pasada asistentes de inteligencia artificial superpotentes: GPT-4o y Astra están diseñados para ofrecer respuestas mucho más fluidas y naturalistas que sus predecesores. Pero debemos evitar caer en la trampa de creer que sus capacidades son similares a las humanas, aunque lo parezcan.

"Tenemos una tendencia natural a atribuir estados mentales y mente e intencionalidad a entidades que no tienen mente", afirma Cristina Becchio, profesora de neurociencia del Centro Médico Universitario de Hamburgo-Eppendorf (Hamburgo, Alemania), que trabajó en la investigación. "El riesgo de atribuir una teoría de la mente a grandes modelos lingüísticos está ahí".

La teoría de la mente es un rasgo distintivo de la inteligencia emocional y social que nos permite deducir las intenciones de las personas y relacionarnos y empatizar con los demás. La mayoría de los niños adquieren este tipo de habilidades entre los tres y los cinco años.

Los investigadores probaron dos familias de modelos de lenguaje de gran tamaño, GPT-3.5 y GPT-4 de OpenAI y tres versiones de Llama de Meta, en tareas diseñadas para poner a prueba la teoría de la mente en humanos, como la identificación de creencias falsas, el reconocimiento de pasos en falso y la comprensión de lo que se insinúa en lugar de lo que se dice directamente. También evaluaron a 1.907 participantes humanos para comparar los conjuntos de puntuaciones.

El equipo realizó cinco tipos de pruebas. La primera, la tarea de insinuación, está diseñada para medir la capacidad de una persona para deducir las verdaderas intenciones de otra a través de comentarios indirectos. La segunda, la tarea de falsa creencia, evalúa si alguien puede deducir que es razonable esperar que otra persona crea algo que sabe que no es cierto. Otra prueba medía la capacidad de reconocer cuándo alguien está dando un paso en falso, mientras que una cuarta consistía en contar historias extrañas, en las que un protagonista hace algo inusual, para evaluar si alguien puede explicar el contraste entre lo que se dijo y lo que se quiso decir. También incluyeron una prueba para comprobar si las personas pueden comprender la ironía.

A los modelos de IA se los sometió a cada prueba 15 veces en chats separados, para que trataran cada petición de forma independiente, y sus respuestas se puntuaron de la misma forma utilizada para los humanos. A continuación, los investigadores evaluaron a los voluntarios humanos y compararon las dos puntuaciones.

Ambas versiones de GPT obtuvieron resultados iguales o superiores a la media de los humanos en tareas que implicaban peticiones indirectas, desorientación y falsas creencias, mientras que GPT-4 superó a los humanos en las pruebas de ironía, insinuación e historias extrañas. Los tres modelos de Llama 2 rindieron por debajo de la media humana.

Sin embargo, Llama 2, el mayor de los tres modelos Meta probados, superó a los humanos a la hora de reconocer escenarios de error, mientras que GPT proporcionó sistemáticamente respuestas incorrectas. Los autores creen que esto se debe a la aversión general de GPT a generar conclusiones sobre opiniones, ya que los modelos respondieron en gran medida que no había suficiente información para que respondieran en un sentido u otro.

"Estos modelos no están demostrando la teoría de la mente de un humano, seguro", afirma. "Pero lo que sí demostramos es que aquí hay una competencia para llegar a inferencias mentalistas y razonar sobre la mente de personajes o personas".

Una de las razones por las que los LLM pueden haber rendido tan bien es que estas pruebas psicológicas están muy bien establecidas y, por lo tanto, es probable que se hayan incluido en sus datos de entrenamiento, dice Maarten Sap, profesor asistente de la Universidad Carnegie Mellon (Pittsburgh, Pensilvania, EEUU), que no trabajó en la investigación. "Es muy importante reconocer que cuando se administra una prueba de falsa creencia a un niño, es probable que nunca haya visto esa prueba exacta antes, pero los modelos lingüísticos sí", afirma.

Al final, seguimos sin entender cómo funcionan los LLM. Investigaciones como esta pueden ayudar a profundizar en nuestra comprensión de lo que este tipo de modelos pueden y no pueden hacer, afirma Tomer Ullman, científico cognitivo de la Universidad de Harvard (Cambridge, Massachusetts, EE UU), que no trabajó en el proyecto. Pero es importante tener en cuenta lo que realmente estamos midiendo cuando ponemos a los LLM pruebas como estas. Si una IA supera a un humano en una prueba diseñada para medir la teoría de la mente, no significa que la IA tenga teoría de la mente.

"No estoy en contra de los parámetros de referencia, pero formo parte de un grupo de personas a las que les preocupa que estemos llegando al final de la utilidad de la forma en que hemos estado utilizándolos", afirma Ullman. "Independientemente de cómo haya aprendido esta cosa a superar el hito, no es —no lo creo— de una forma parecida a la humana".