Que las herramientas predictivas policiales contienen sesgos raciales es un secreto a voces. Varios estudios han demostrado los algoritmos entrenados con datos policiales pueden desarrollar bucles de respuestas racistas, como los arrestos. Pero una nueva investigación muestra que entrenar herramientas predictivas bajo un enfoque pensado para reducir el sesgo tampoco tiene mucho efecto.

Los datos de arrestos sesgan las herramientas predictivas porque se sabe que la policía detiene a más personas en los barrios de población negra y de otras minorías, lo que lleva a los algoritmos a reclamar más vigilancia policial a esas áreas, lo que conduce a más arrestos. El resultado es que las herramientas de predicción envían a las patrullas policiales bajo premisas incorrectas: algunos distritos son designados injustamente como puntos calientes del crimen, mientras que otros no tienen suficiente control policial.

Muchos desarrolladores de herramientas de vigilancia policial predictiva afirman, en su defensa, que han empezado a utilizar las denuncias de las víctimas para obtener una imagen más precisa de las tasas de criminalidad en diferentes distritos. En teoría, estos informes deberían estar menos sesgados porque no parecen afectados por los prejuicios policiales ni los bucles de retroalimentación.  

Pero las investigadoras de la Universidad Carnegie Mellon (EE. UU.) Nil-Jana Akpinar y Alexandra Chouldechova muestran que la información proporcionada por las denuncias de víctimas también está sesgada. Las investigadoras han creado su propio algoritmo predictivo utilizando el mismo modelo usado en varias herramientas populares, incluido PredPol, el sistema más utilizado en EE. UU. Entrenaron al modelo con datos de los informes de las víctimas de Bogotá (Colombia), una de las pocas ciudades para la que se dispone de datos independientes de denuncias de delitos a nivel de distrito.

Cuando compararon las predicciones de su herramienta con los datos reales de delitos para cada distrito, encontraron que su modelo cometió grandes errores. Por ejemplo, en un distrito donde se denunciaron pocos delitos, la herramienta predijo alrededor del 20 % de los puntos calientes, es decir, ubicaciones con alta tasa de delitos. Por otro lado, en un distrito con una gran cantidad de denuncias, la herramienta predijo un 20 % más de puntos calientes de los que realmente había.

Según la abogada e investigadora especializada en sesgo algorítmico en el AI Now Institute de Nueva York (EE. UU.) Rashida Richardson, estos resultados refuerzan el trabajo existente que destaca los problemas con los conjuntos de datos utilizados en la vigilancia policial predictiva. Y afirma: "Conducen a resultados sesgados que no mejoran la seguridad pública. Creo que muchos proveedores de vigilancia policial predictiva como PredPol no comprenden cómo las condiciones estructurales y sociales sesgan o distorsionan muchas formas de datos sobre delitos".

Entonces, ¿por qué el algoritmo se equivocó tanto? El problema con los informes de las víctimas reside en que las personas negras tienen más probabilidades que las blancas de ser denunciadas por un delito. Es más probable que las personas blancas más ricas denuncien a una persona negra y pobre que al revés. Y las personas negras también suelen denunciar más a otras personas negras. Al igual que con los datos de arrestos, esto provoca que los barrios negros acaben marcados como puntos calientes del crimen con más frecuencia de lo que deberían.

Hay más factores que distorsionan la situación real. Richardson detalla: "Las denuncias de las víctimas también están relacionadas con la confianza o desconfianza de la comunidad en la policía. Así que, si estamos en una comunidad con un departamento de policía históricamente corrupto o con conocidos prejuicios raciales, eso influirá en cómo las personas denuncian el delito y si lo hacen". En este caso, una herramienta predictiva puede subestimar el nivel de delincuencia en un área, por lo que no obtendrá la vigilancia que necesita. 

Difícil solución

Y lo que es peor, todavía no existe una solución técnica clara. Akpinar y Chouldechova intentaron ajustar su modelo de Bogotá para que tuviera en cuenta los sesgos que habían observado, pero no tenían suficientes datos para marcar una gran diferencia, a pesar de que había más información a nivel de distrito para Bogotá que para cualquier ciudad de EE. UU. "Al final, no está claro si mitigar el sesgo en este caso es más fácil que los esfuerzos anteriores para reducir el sesgo en los sistemas basados en los datos de arrestos", explica Akpinar.

¿Qué se podría hacer? Richardson cree que la única respuesta es la presión pública para desmantelar las herramientas racistas y las políticas detrás de ellas. "Es solo una cuestión de voluntad política", opina y señala que los primeros en adoptar las herramientas de vigilancia predictiva, como Santa Cruz (EE. UU.), han anunciado que van a dejar de usarlas y que ha habido informes oficiales mordaces sobre el uso de vigilancia predictiva por parte del Departamento de Policía de Los Ángeles (LAPD) y la policía de Chicago (ambas en EE. UU.). "Pero las respuestas en cada ciudad fueron diferentes", resalta. 

Chicago suspendió el uso de la vigilancia predictiva, pero reinvirtió en una base de datos para vigilar a pandillas, que según Richardson tiene muchos de los mismos problemas. La experta concluye: "Lo preocupante es que incluso cuando las investigaciones y los informes del Gobierno encuentran grandes problemas con estas tecnologías, no basta con que los políticos y los oficiales de policía digan que no se deben usar".