La próxima vez que solicites un empleo, la IA podría cribar tu currículum antes de que cualquier humano lo vea. Pero hay buenas razones para cuestionar si la IA te juzgará de forma justa. Los investigadores ya saben que los LLM adquieren sesgos humanos de sus datos de entrenamiento. Nuevas investigaciones sugieren que los LLM también pueden desarrollar sus propios sesgos a partir de la experiencia, y estereotipar a los solicitantes de empleo más que los humanos. Mientras las empresas de IA compiten por construir modelos agenciales que recuerdan los detalles más mínimos sobre los usuarios, podrían estar proporcionándoles munición para la formación de esos sesgos.
Investigadores de la Universidad de Princeton y la Universidad de Chicago sometieron a LLM, incluyendo ChatGPT, Claude y Gemini, a un juego de contratación simulado, adaptado de un estudio de psicología que exploró cómo los humanos pueden formar estereotipos. A cada modelo se le dijo que había sido contratado como consultor por el alcalde de una ciudad ficticia y se le pidió entonces que ayudara a contratar personal para 20 puestos de trabajo, incluyendo médicos, abogados, asistentes de cuidado infantil y conserjes. Los candidatos procedían de cuatro grupos étnicos ficticios: Tufa, Aima, Reku y Weki.
En cada ronda, había una nueva vacante y cuatro candidatos, uno de cada grupo. Después de que el modelo contrataba a un candidato, aprendía si este había tenido éxito en su puesto y pasaba a la siguiente ronda. Al modelo se le encomendó realizar el mayor número posible de contrataciones exitosas a lo largo de 40 rondas. Sin que los modelos lo supieran, todos los candidatos tenían la misma probabilidad de éxito en cualquier puesto.
Los modelos comenzaron rápidamente a segregar a candidatos de distintos grupos en diferentes empleos, basándose en las primeras observaciones de los resultados de contratación. Por ejemplo, cuando a un modelo se le comunicó que una Aima había fracasado como médico —un puesto que se considera que exige altos niveles de calidez y competencia—, el modelo dejó de considerar la contratación de todas las Aimas para ese rol. En su lugar, comenzó a contratar a Aimas como personal de limpieza, una ocupación que el modelo clasificaba como menos cálida y competente que la de los médicos.
Los modelos eran incluso más propensos a estereotipar a las personas por grupo demográfico que los participantes humanos en el estudio original. En la escala de segregación del estudio, donde 2 significa que cada grupo ha sido completamente confinado a su propio nicho laboral, los participantes humanos obtuvieron una puntuación de 0.84. Los modelos obtuvieron una puntuación aproximadamente un 65% superior, con el modelo de razonamiento o3 de OpenAI obteniendo 1.83, cerca del máximo posible.
Esto se debe a que los LLM «están realmente ansiosos por crear generalizaciones a partir de datos limitados», afirma Ryan Liu, estudiante de doctorado en la Universidad de Princeton y coautor del estudio, publicado en un artículo en la ICML de Seúl en julio. «Eso es, literalmente, gran parte de para lo que están optimizados». Todo tomador de decisiones, humano o máquina, se enfrenta a una disyuntiva entre aferrarse a lo que funcionó antes y probar algo nuevo que podría funcionar mejor —un fenómeno que los psicólogos llaman el «dilema exploración-explotación». Es como elegir entre un restaurante nuevo y tu favorito de confianza.
Dado que los LLM se entrenan con problemas de matemáticas, programación y ciencia —tareas que recompensan la generalización a partir de solo unos pocos ejemplos—, pueden llegar a una conjetura demasiado pronto. Y el mismo instinto que ayuda a los LLM a resolver rompecabezas lógicos también los lleva a estereotipar rápidamente. En el experimento, los modelos más recientes con mayores capacidades de razonamiento, como o3 de OpenAI y R1 de DeepSeek, mostraron sesgos aún más fuertes. Cuando los LLM se apresuran a generalizar en ento os sociales, «ahí es cuando las cosas tienden a salir mal», afirma Liu. OpenAI y Anthropic no respondieron a las solicitudes de comentarios.
El hallazgo es especialmente relevante ahora que los chatbots están adquiriendo mejores funciones de memoria y personalización, según Angelina Wang, una científica informática de la Universidad de Co ell que no participó en el estudio. Cuando un chatbot recurre a su historial de conversaciones previas, puede “reforzar en exceso los mismos tipos de comportamientos que ha experimentado antes” y generar sesgos, afirma. Sin embargo, simplemente hacer que los chatbots recuerden menos no es una solución, porque los usuarios quieren que los chatbots recuerden lo que dicen. “Todavía estamos intentando averiguar la cantidad justa, que no sea ni demasiado ni demasiado poco”, dice Wang.
Decirle al modelo que fuera justo no cambió mucho su comportamiento. “O no puede poner en práctica estos valores, o ese proceso está siendo sumergido bajo la tendencia a intentar optimizar el objetivo de conseguir las contrataciones más acertadas”, dice Liu. Pero prometer a los modelos una bonificación adicional por contrataciones diversas los hizo mucho menos sesgados. El truco, entonces, es diseñar objetivos que “incorporen valores sociales deseables para que el modelo de lenguaje grande actúe de maneras socialmente deseables”, dice Liu.
Los modelos también mostraron menos sesgo cuando se les proporcionó más información personal sobre los individuos. En otro experimento del mismo estudio, los investigadores pidieron a los modelos que reubicaran a miembros de diferentes grupos étnicos en ciudades de todo Canadá. Cuando a los modelos se les dio información personal relevante para la capacidad de adaptación a una nueva ciudad, como la edad y la educación, fueron menos propensos a segregar a las personas por su etnia. Pero cuando se les proporcionó información irrelevante, como el color del cabello y la forma del tatuaje, los modelos volvieron en gran medida a clasificar a las personas por su etnia nuevamente.
Hasta qué punto los sistemas de IA estereotiparán a los candidatos de empleo en el mundo real sigue siendo una incógnita. Aunque los modelos del experimento aprendieron inmediatamente si habían realizado contrataciones exitosas, un modelo que criba currículums en el mundo real no recibe una evaluación instantánea. Las empresas pueden tardar mucho tiempo en averiguar si un nuevo empleado es competente. Pero cuando la retroalimentación sí llega, un modelo podría seguir interpretando demasiado esos resultados al realizar futuras contrataciones. A medida que las empresas implementan cada vez más LLMs para cribar currículums e incluso para realizar entrevistas, el hallazgo de que los modelos pueden desarrollar sesgos a partir de su experiencia de contratación “es una implicación realmente seria que deberían abordar”, afirma Wang.
A medida que los LLMs aprenden de la experiencia para tomar decisiones sobre quién es contratado, quién obtiene un préstamo o quién consigue la libertad condicional, los sesgos que deberían preocupa os pueden incluir aquellos que ningún humano les enseñó. “Estos sesgos novedosos —están, en cierto modo, siempre presentes—”, afirma Liu.