Según una investigación publicada el 13 de junio por Human Rights Watch (HRW, por sus siglas en inglés), un algoritmo financiado por el Banco Mundial para determinar qué familias deben recibir ayudas económicas en Jordania excluye a quienes reúnen los requisitos.

El sistema, denominado Takaful, clasifica a las familias que solicitan ayuda de menos a más pobres mediante un cálculo según 57 indicadores socioeconómicos. Sin embargo, los solicitantes afirman que el cálculo no refleja la realidad y simplifica en exceso la situación económica de las personas, a veces de forma inexacta o injusta. Takaful ha costado más de 1.000 millones de dólares (unos 927.100 euros), y el Banco Mundial financia proyectos similares en otros ocho países de Oriente Medio y África.

Human Rights Watch detectó varios problemas fundamentales en el algoritmo, que dieron lugar a sesgos e imprecisiones. Por ejemplo, se pregunta a los solicitantes cuánta agua y electricidad consumen, como dos indicadores del sistema de clasificación. Los autores del informe concluyen que estos no son necesariamente indicadores fiables de la pobreza. Algunas familias entrevistadas creían que el hecho de poseer un coche afectaba a su clasificación, aunque este fuera antiguo y necesario para llegar al trabajo.

El informe asegura: "Este barniz de objetividad estadística enmascara una realidad más complicada: las presiones económicas que soportan las personas y las formas en que luchan por salir adelante suelen ser invisibles para el algoritmo".

"Las preguntas que nos hacen no reflejan la realidad en la que vivimos", afirma Abdelhamad, citado en el informe; un padre de dos hijos, que gana 250 dinares (unos 327 euros) al mes y lucha por llegar a fin de mes.

Takaful también refuerza la discriminación de género existente al basarse en códigos jurídicos sexistas. La ayuda en metálico solo se concede a ciudadanos jordanos, y uno de los indicadores que tiene en cuenta el algoritmo es el tamaño del hogar. Aunque los hombres jordanos que se casan con una no ciudadana pueden transmitir la ciudadanía a su cónyuge, las mujeres jordanas que se casan no pueden hacerlo. En el caso de estas mujeres, el tamaño del hogar declarable es menor, por lo que tienen menos probabilidades de recibir ayuda.

El informe se basa en 70 entrevistas realizadas por Human Rights Watch en los últimos dos años, y no en una evaluación cuantitativa. Ya que el Banco Mundial y el gobierno de Jordania no han hecho pública la lista de los 57 indicadores, ni un desglose de cómo se ponderan los indicadores, y tampoco han compartido datos exhaustivos sobre las decisiones del algoritmo. Es más, el Banco Mundial aún no ha respondido a nuestra solicitud de comentarios.

Amos Toh, investigador sobre IA y Derechos Humanos de Human Rights Watch y autor del informe, afirma que los resultados apuntan a la necesidad de mayor transparencia en los programas gubernamentales que utilizan un algoritmo para tomar decisiones. Muchas de las familias entrevistadas expresaron desconfianza y confusión sobre la metodología de clasificación. "Corresponde al Gobierno de Jordania proporcionar esa transparencia", asegura Toh.

Los investigadores sobre ética e imparcialidad de la IA reclaman un mayor escrutinio en torno al creciente uso de algoritmos en los sistemas de asistencia social. "Cuando se empiezan a crear algoritmos para este fin concreto, para supervisar el acceso, siempre se excluye a personas que necesitan ayuda", explica Meredith Broussard, profesora de la Universidad de Nueva York y autora de More Than a Glitch: Confronting Race, Gender, and Ability Bias in Tech.

"Parece que este es otro ejemplo más de un mal diseño que, en realidad, acaba restringiendo el acceso a los fondos para las personas que más los necesitan", añade Broussard.

El Banco Mundial financió el programa, gestionado por el Fondo Nacional de Ayuda de Jordania, un organismo gubernamental de protección social. En respuesta al informe, el Banco Mundial aseguró que planea publicar información adicional sobre el programa Takaful en julio de 2023 y reiteró su "compromiso de avanzar en la implementación de la protección social universal [y] garantizar el acceso a la protección social para todas las personas".

La organización ha fomentado el uso de la tecnología de datos en programas de transferencia de efectivo como Takaful, afirmando que promueve la rentabilidad y una mayor equidad en la distribución. Los gobiernos también han utilizado sistemas basados en IA para evitar el fraude en las prestaciones sociales. Una investigación realizada en mayo sobre un algoritmo del gobierno holandés, que indica qué solicitudes de prestaciones tienen más probabilidades de ser fraudulentas, reveló una discriminación sistemática por motivos de raza y sexo.