A raíz de una serie de graves escándalos, en mayo de 2010 el alcalde de Nueva Orleans (EE.UU.) pidió al Departamento de Justicia de Estados Unidos que investigara al departamento de policía de su ciudad (NOPD). Diez meses más tarde, el Departamento de Justicia presentó su devastador análisis: durante el período de su revisión a partir de 2005, el NOPD había violado repetidamente las leyes constitucionales y federales.

El cuerpo utilizaba fuerza excesiva y desproporcionadamente contra residentes negros, otras minorías raciales seleccionadas, personas no nativas y el colectivo LGBTQ. Además, los agentes no respondían a los casos de violencia machista. El entonces asistente del fiscal general Thomas Pérez dijo que estos problemas eran "serios, amplios, sistémicos y estaban profundamente arraigados dentro de la cultura del departamento".

A pesar de estos preocupantes hallazgos, un año después la ciudad se asoció en secreto  con la empresa de minería de datos Palantir para crear un sistema de predicción policial. El sistema utilizaba datos históricos, incluidos los registros de arrestos e informes electrónicos de la policía, para pronosticar delitos y ayudar a definir estrategias de seguridad pública, de acuerdo con documentos de la empresa y de la ciudad. En ningún momento se sugirió que los datos se debieran limpiar o modificar para abordar las violaciones reveladas por el Departamento de Justicia. Con toda probabilidad, el injusto historial de datos fue introducido directamente en el sistema, lo que reforzó las prácticas discriminatorias del departamento (ver La IA que evalúa a delincuentes perpetúa la injusticia hacia las minorías).

Los algoritmos predictivos de vigilancia policial son cada vez más comunes en EE. UU (ver El experimento de la Policía de Chicago para prevenir la violencia no funciona). Aunque la falta de transparencia hace que las estadísticas sean difíciles de precisar, PredPol, uno de los proveedores líderes, presume de que ayuda a "proteger" a uno de cada 33 estadounidenses. El software a menudo se promociona como una forma de ayudar a los departamentos de policía poco flexibles a tomar decisiones más eficientes y basadas en los datos. 

Pero una nueva investigación sugiere que Nueva Orleans no es la única que ha entrenado a su sistema con "datos sucios". Un artículo publicado la semana pasada por investigadores del Instituto AI Now, que estudia el impacto social de la inteligencia artificial (IA), afirma que se trata de un problema generalizado en las jurisdicciones que han analizado. Esto tiene importantes implicaciones para la eficacia de la vigilancia policial predictiva y de los otros algoritmos utilizados en el sistema de justicia penal (ver La inteligencia artificial ya es capaz de evitar la prisión preventiva innecesaria).

"Un sistema es tan bueno como los datos que se utilizan para entrenarlo", detalla la cofundadora y codirectora de AI Now y autora del estudio, Kate Crawford. La experta amplía: "Si los datos son incorrectos, solo se conseguirá que los recursos de la policía se centren en las mismas comunidades sobredimensionadas y, a menudo, a nivel racial. Entonces, lo que han hecho es un tipo de lavado tecnológico en el que las personas que usan estos sistemas asumen que son más neutrales u objetivos, pero en realidad incorporan formas de inconstitucionalidad o ilegalidad".

La investigación analizó 13 jurisdicciones, centrándose en aquellas que habían utilizado los sistemas de vigilancia policial preventiva y habían sido investigados por el Gobierno. Este último requisito aseguraba que las prácticas policiales tuvieran documentación legalmente verificable. En nueve de las jurisdicciones, se identificaron pruebas sólidas de que los sistemas habían sido entrenados con "datos sucios".

El problema no estaba solo en los datos sesgados a causa de la desproporcionada presión policial sobre las minorías, como sucedió en Nueva Orleans. En algunos casos, los departamentos de policía tenían una cultura de manipular o falsificar intencionadamente los datos bajo una intensa presión política para reducir los índices oficiales de delincuencia. En Nueva York (EE.UU.), por ejemplo, para desinflar artificialmente las estadísticas de crímenes, los comandantes solían pedían a las víctimas en las escenas del crimen que no denunciaran. Algunos oficiales incluso ponían droga a personas inocentes para cumplir con sus cuotas de arrestos. En los modernos sistemas policiales predictivos, basados en aprendizaje automático para pronosticar delitos, esos datos erróneos se convierten en predictores legítimos.

Estos hallazgos ponen en duda la validez de los sistemas de vigilancia policial predictiva. Los proveedores de este tipo de software a menudo defienden que los resultados sesgados de sus herramientas se pueden corregir fácilmente, afirma la directora de investigación de políticas en AI Now y autora principal del estudio, Rashida Richardson. "Pero en todos estos casos, hay algún tipo de problema sistémico que se refleja en los datos", sostiene ella. El remedio, por lo tanto, requeriría mucho más que limitarse a eliminar uno o dos casos de mal comportamiento. No es tan fácil "segregar la buena información de la mala o la buena policía de la mala", añade el líder de investigación sobre leyes y políticas del instituto, Jason Schultz, y también coautor del estudio. 

Los responsables de los algoritmos también afirman que evitan que los datos reflejen sesgos, como los arrestos relacionados con las drogas, y optan por las llamadas al 911 para entrenar los sistemas. Pero los investigadores encontraron el mismo sesgo en los datos supuestamente más neutrales. Además, descubrieron que los proveedores nunca controlan de forma independiente los datos con los que entrenan a sus sistemas.

El documento arroja luz sobre otro debate que se está librando en Estados Unidos en relación al uso de herramientas de evaluación de riesgos delictivos, que también utilizan el aprendizaje automático para ayudar a determinar cualquier cosa, desde el destino de los acusados ​​durante los procedimientos previos al juicio hasta la severidad de sus sentencias. Richardson afirma: "Los datos que analizamos en este documento no solo se refieren a los de la policía sino a los que se emplean en todo el sistema de justicia penal".

Gran parte del debate actual se ha centrado en la mecánica del propio sistema, en si es posible diseñarlo para producir resultados matemáticamente justos. Pero los investigadores subrayan que esta no es la pregunta correcta. Schultz señala: "Separar la cuestión del algoritmo al que está conectado e incrustado no nos lleva muy lejos. Realmente tenemos que reconocer los límites de esos tipos de intentos matemáticos basados ​​en cálculos para abordar el sesgo".

En el futuro, los investigadores esperan que su trabajo ayude a replantear el debate para que se centre en el sistema en su totalidad en lugar de en la herramienta en sí. También esperan que incite a los gobiernos a crear mecanismos para ofrecer mayor transparencia, responsabilidad y supervisión al uso de herramientas automatizadas de toma de decisiones. Un ejemplo de ello sería como el marco de evaluación de impacto algorítmico que el propio instituto lanzó el año pasado.

Si no se reforman los mecanismos sociales y políticos que generan estos datos sucios, tales herramientas generarán más perjuicios que beneficios. Cuando la gente empiece a ser consciente del problema, tal vez el debate por fin se centre en encontrar "formas de usar el aprendizaje automático y otros avances tecnológicos para detener la causa raíz real del [crimen]", explica Richardson. El experto concluye: "Si usamos mejor los datos, quizás podamos resolver los problemas de pobreza, desempleo y vivienda".