Los responsables políticos suelen recurrir a los sociólogos para prever el impacto de determinadas políticas en algunos aspectos de la sociedad, como las tasas de empleo y la delincuencia. La idea consiste en que si logran entender cómo diferentes factores cambian la trayectoria de la vida de una persona, podrían proponer medidas para estimular los mejores resultados.

En los últimos años, el trabajo de los sociólogos se ha ido apoyando cada vez más en la inteligencia artificial (IA), que promete la creación de predicciones mucho más exactas al procesar mayores cantidades de datos. Ese tipo de modelos ya se utilizan para predecir la probabilidad de que un niño esté en riesgo de abusos y negligencia en su casa. Se supone que un algoritmo alimentado con suficientes datos sobre una situación dada hará pronósticos más acertados que un análisis estadístico más básico u otro realizado por los expertos.

Pero ahora, un nuevo estudio publicado en la revista Proceedings of the National Academy of Sciences genera dudas sobre la verdadera efectividad de este enfoque. Tres sociólogos de la Universidad de Princeton (EE. UU.) pidieron a cientos de investigadores que pronosticaran el futuro de seis niños, padres y familias utilizando casi 13.000 puntos de datos de más de 4.000 familias. Ninguno de los investigadores se acercó a un nivel razonable de exactitud, independientemente de si usaron estadísticas simples o los sistemas de aprendizaje automático más avanzados.

"Este estudio pone de manifiesto esa idea de que, al fin y al cabo, las herramientas de aprendizaje automático no son mágicas", opina la directora de la investigación de imparcialidad y responsabilidad de la asociación sin ánimo de lucro Partnership on AI, Alice Xiang.

Los investigadores utilizaron los datos de un análisis sociológico titulada Estudio de las familias frágiles y del bienestar infantil, que se prolongó durante 15 años y fue dirigido por la profesora de Sociología y Relaciones Públicas de la Universidad de Princeton Sara McLanahan, que también es una de las autoras principales de este nuevo trabajo.  El estudio original intentaba descubrir cómo serían las vidas de los niños de familias monoparentales a lo largo del tiempo. Las familias fueron seleccionadas de forma aleatoria de niños nacidos durante el año 2000 en hospitales en grandes ciudades de EE. UU. Realizaron un seguimiento para la recopilación de datos cuando los niños tenían 1, 3, 5, 9 y 15 años.

McLanahan y sus colegas Matthew Salganik e Ian Lundberg crearon un reto colaborativo para reunir predicciones de seis resultados finales que ellos consideraban sociológicamente importantes. Estos resultados incluían la media de las notas finales de los niños en la escuela; su nivel de "aguante" o perseverancia en la escuela declarada por ellos mismos; y el nivel general de pobreza en su familia. Los participantes en el reto, procedentes de varias universidades, solo recibieron una parte de los datos para entrenar sus algoritmos, mientras los organizadores guardaron otros datos para las evaluaciones finales. En el transcurso de cinco meses, cientos de investigadores, informáticos, estadísticos y sociólogos computacionales presentaron sus mejores técnicas de pronóstico, pero ninguna fue capaz de lograr una alta precisión en ninguno de los resultados y eso no fue una casualidad. "No se puede explicar como si fuera el fracaso de un investigador en concreto o de cualquier método de aprendizaje automático o inteligencia artificial (IA) en particular", destaca el profesor de sociología Salganik. Los métodos de aprendizaje automático más complicados no resultaron mucho más exactos que otros enfoques bastante más simples.

Para los expertos que estudian el uso de la IA en la sociedad, los resultados tampoco resultan sorprendentes. Incluso los más acertados algoritmos de evaluación de riesgos en el sistema de justicia penal, por ejemplo, alcanzan un máximo de un 60 % o un 70 % de precisión, según Xiang. "Quizás en general eso pueda parecer algo bueno", añade, pero las tasas de reincidencia podrían ser inferiores al 40 %. Eso significa que pronosticar que no habrá reincidencia supone un índice de exactitud de más del 60 %.

Del mismo modo, las investigaciones han demostrado en repetidas ocasiones que, en los contextos en los que un algoritmo evalúa el riesgo o elige dónde dirigir los recursos, se trata de sistemas simples y explicables conocidos como caja de cristal que, a menudo tienen casi el mismo poder predictivo que las técnicas de caja negra como el aprendizaje profundo. Por eso, el beneficio adicional de esas últimas no compensa su falta de interpretabilidad.

Estos resultados no significan necesariamente que los modelos predictivos, ya estén basados ​​en el aprendizaje automático o no, nunca lleguen a convertirse en herramientas útiles en el mundo normativo. Algunos investigadores señalan, por ejemplo, que los datos recopilados con fines de investigación sociológica son diferentes de los datos que se suelen analizar para la formulación de políticas.

La directora de Políticas del Instituto AI Now, Rashida Richardson, que analiza el impacto social de la IA, también destaca las dudas en la forma en la que se definió el problema de la predicción. Si un niño tiene "aguante", por ejemplo, es un juicio inherentemente subjetivo que la investigación ha demostrado como "una construcción racista para medir el éxito y el rendimiento", afirma. Ese detalle la llevó a pensar de inmediato: "Oh, no hay forma de que esto funcione".

Salganik también reconoce las limitaciones de la investigación. Pero subraya que se demuestra por qué los formuladores de políticas deberían tener más cuidado al evaluar el nivel de exactitud de las herramientas algorítmicas de manera transparente. "Tener una gran cantidad de datos y un modelo aprendizaje automático complejo no garantiza una predicción exacta", añade, y concluye: "Los formuladores de políticas que no tienen tanta experiencia en trabajar con el aprendizaje automático podrían tener expectativas poco realistas sobre la técnica".