Este estudio aviva el debate entre los investigadores de la IA sobre lo que significa que un ordenador supere pruebas diseñadas para humanos. Los resultados no indican necesariamente que las IA estén desarrollando la capacidad de hacer algo exclusivamente humano. Podría tratarse simplemente de que las IA pueden superar pruebas de creatividad, no de que sean realmente creativas en el sentido que nosotros entendemos. Sin embargo, investigaciones como ésta podrían ayuda os a comprender mejor cómo los humanos y las máquinas abordan las tareas creativas.
nLos investigadores empezaron pidiendo a tres chatbots de IA (ChatGPT y GPT-4 de OpenAI, así como Copy.Ai, basado en GPT-3) que propusieran el mayor número posible de usos para una cuerda, una caja, un lápiz y una vela en tan solo 30 segundos.
nSus instrucciones pedían a los grandes modelos lingüísticos que propusieran usos originales y creativos para cada uno de los objetos y explicaban que la calidad de las ideas era más importante que la cantidad. Cada chatbot se probó 11 veces con cada uno de los cuatro objetos y los investigadores dieron las mismas instrucciones a 256 participantes humanos.
nLos investigadores utilizaron dos métodos para evaluar las respuestas de la IA y las humanas. El primero consistió en un algoritmo que valoraba el grado de similitud entre el uso sugerido para el objeto y su finalidad original. El segundo se centró en pedir a seis evaluadores humanos (que desconocían que algunas de las respuestas habían sido generadas por sistemas de IA) que valoraran cada respuesta en una escala del 1 al 5 en función de lo creativa y original que fuera: 1 para nada y 5 para mucho. A continuación, se calcularon las puntuaciones medias de las personas y las IA.
nAunque en promedio las respuestas de los chatbots se calificaron como mejores que las de los humanos, las respuestas humanas mejor puntuadas fueron superiores.
nSi bien el propósito del estudio no era demostrar que los sistemas de IA son capaces de sustituir a los humanos en funciones creativas, plantea cuestiones filosóficas sobre las características propias de los humanos, afirma Simone Grassini, profesora asociada de Psicología de la Universidad de Bergen (Noruega), que codirigió la investigación.
n"Hemos demostrado que en los últimos años la tecnología ha dado un salto muy grande cuando hablamos de imitar el comportamiento humano", afirma. "Estos modelos están en constante evolución".
nDemostrar que las máquinas pueden rendir bien en tareas diseñadas para medir la creatividad en humanos no demuestra que sean capaces de algo parecido al pensamiento original, afirma Ryan Bu ell, investigador asociado del Instituto Alan Turing (Reino Unido), que no participó en la investigación.
nLos chatbots que se probaron son "cajas negras", es decir, no sabemos exactamente con qué datos se entrenaron ni cómo generan sus respuestas, afirma. "Lo que es muy plausible que ocurra aquí es que un modelo no genere nuevas ideas creativas, sino que se base lo que ha visto en sus datos de entrenamiento, que podrían incluir exactamente esta tarea de usos alte ativos", explica. "En ese caso, no estamos midiendo la creatividad, sino el conocimiento previo del modelo sobre este tipo de tarea".
nEso no significa que no siga siendo útil comparar cómo abordan determinados problemas las máquinas y los humanos, afirma Anna Ivanova, investigadora postdoctoral del Instituto Tecnológico de Massachusetts (MIT) que estudia los modelos lingüísticos y no ha trabajado en el proyecto.
nSin embargo, hay que tener en cuenta que, aunque los chatbots son muy buenos respondiendo a peticiones concretas, unos ligeros retoques, como reformular una petición, pueden bastar para que dejen de rendir igual de bien, señala. Ivanova cree que este tipo de estudios debería lleva os a examinar la relación entre la tarea que pedimos a los modelos de IA y la capacidad cognitiva que intentamos medir. "No deberíamos suponer que las personas y los modelos resuelven los problemas de la misma manera", concluye.
n