Yeshimabeit Milner aún estaba en el instituto cuando vio por primera vez a unos chicos que conocía esposados, entrando en coches de policía. Era el 29 de febrero de 2008, y el director de una escuela cercana en Miami (EE. UU.), donde la mayoría eran haitianos y afroamericanos, había suspendido a uno de sus alumnos. Al día siguiente, varias docenas de jóvenes organizaron una manifestación pacífica, pero que no acabó bien.

Esa noche, las noticias de la cadena NBC 6 de Miami empezaron con el subtítulo Caos en el Campus. (Hay un vídeo en YouTube). "Aumentan las tensiones en el Instituto Edison Senior High después de que una lucha por los derechos haya terminado en un enfrentamiento con la policía", dijeron en el programa. Pasaron a imágenes borrosas grabadas por un teléfono de unos adolescentes que gritaban: "El caos que se ve es una gran pelea dentro de la cafetería del instituto".

Los alumnos contaron a los periodistas que la policía los había golpeado con porras, los había tirado al suelo y los había empujado contra las paredes. La policía afirmó que había sido atacada ("con botellas de agua, refrescos, leche, etcétera") y pidió refuerzos de emergencia. Alrededor de 25 alumnos fueron arrestados, y muchos acabaron acusados de varios delitos, incluida la resistencia al arresto con violencia. Milner recuerda haberlo visto todo en la televisión reconociendo a algunos chicos con los que había ido a la escuela primaria como detenidos. "Fue una locura", asegura. 

"Hay un largo historial de datos que se usaban como armas en contra de las comunidades negras".

Para Milner, los acontecimientos de aquel día y sus implicaciones a largo plazo para los arrestados fueron decisivos. Poco después, mientras aún seguía en el instituto, se involucró en el activismo basado en datos, documentando las experiencias de sus compañeros relacionadas con policías racistas. Ahora es la directora de Data for Black Lives (Datos para las vidas negras), una organización de derechos digitales que cofundó en 2017. Lo que aprendió cuando era adolescente la empujó a una vida de lucha contra los sesgos en el sistema de justicia penal y desmanteló lo que ella llama la vía de la escuela a la prisión. "Hay un largo historial de datos usados como armas en contra de las comunidades negras", subraya.

La desigualdad y el mal uso del poder policial no solo ocurren en las calles  o durante los disturbios escolares. Según Milner y otros activistas, actualmente prestan especial atención a lo que mayor potencial tiene de generar de daños duraderos: las herramientas policiales predictivas y al abuso de datos por parte de las fuerzas policiales. Varios estudios han demostrado que estas herramientas perpetúan el racismo sistémico y, sin embargo, todavía sabemos muy poco sobre cómo funcionan, quién las usa y con qué propósito. Todo esto debe cambiar antes de poder llevar a cabo un trato adecuado. Afortunadamente, el cambio de la marea es posible.

Hay dos tipos generales de herramientas de vigilancia policial predictiva. Los algoritmos basados en la ubicación se centran en los vínculos entre lugares, acontecimientos y tasas históricas de delitos para predecir dónde y cuándo resulta más probable que ocurran los delitos, por ejemplo, en ciertas condiciones climáticas o en grandes eventos deportivos. Estas herramientas identifican los puntos calientes, y la policía organiza sus patrullas en función de estos avisos. Una de las más comunes, llamada PredPol, que utilizan docenas de ayuntamientos en EE. UU., divide las ubicaciones en bloques de 150 por 150 metros y actualiza sus predicciones a lo largo del día, como una especie de pronóstico meteorológico de delitos.

Foto: Yeshimabeit Milner es cofundadora y directora de Data for Black Lives, un colectivo de activistas y científicos informáticos que utiliza datos para reformar el sistema de justicia penal. Cortesía de Data for Black Lives.

Otras herramientas se centran en los datos personales, como la edad, sexo, estado civil, historial de abuso de sustancias y antecedentes penales, para predecir quién tiene una alta probabilidad de estar involucrado en futuras actividades criminales. Estas herramientas basadas en personas individuales pueden ser utilizadas por la policía, para intervenir antes de que ocurra un delito, o por los tribunales, para determinar durante las audiencias previas al juicio o a la sentencia si parece probable que algún arrestado reincida. Por ejemplo, una herramienta llamada COMPAS, utilizada en muchas jurisdicciones para ayudar a tomar decisiones sobre la libertad provisional y decidir la sentencia, emite una calificación estadística entre 1 y 10 para determinar la probabilidad de que una persona sea arrestada de nuevo después de su puesta en libertad.

El problema radica en los datos introducidos en los algoritmos. Por un lado, los algoritmos predictivos son fácilmente sesgados por las tasas de arresto. Según las cifras del Departamento de Justicia de EE. UU., un ciudadano negro tiene más del doble de probabilidades de ser arrestado que uno blanco. Una persona negra tiene cinco veces más probabilidades de ser detenida sin una razón justa que una persona blanca. El arresto masivo en el instituto Edison Senior High fue solo un ejemplo del tipo de respuesta policial desproporcionada que no es poco frecuente en las comunidades negras.

Los chicos que Milner vio arrestados estaban destinados a una evaluación sesgada de por vida debido a ese registro de arrestos. Pero no fueron solo sus propias vidas las que acabaron afectadas ese día. Los datos generados por sus arrestos se han introducido en algoritmos que marcarán desproporcionadamente a todos los jóvenes negros que los algoritmos evalúen en el futuro. Aunque por ley los algoritmos no usan la raza como un predictor, otras variables sirven como indicadores, como los antecedentes socioeconómicos, la educación y el código postal. Pero a pesar de que no se basan explícitamente en la raza, estas herramientas son racistas.

Es por eso que, para muchos, el problema reside en el propio concepto de la vigilancia policial predictiva. La escritora y profesora Dorothy Roberts, que estudia derecho y derechos sociales en la Universidad de Pensilvania (EE. UU.), lo explicó bien en un debate online que tuvo lugar en junio, en el que aseguró: "El racismo siempre tenía algo que ver con la predicción, de hacer que ciertos grupos raciales parezcan predispuestos a hacer cosas malas y, por eso, justificar su control".

Las evaluaciones de riesgo llevan décadas formando parte del sistema de justicia penal. Pero los departamentos de policía y los juzgados han estado usando más las herramientas automatizadas en los últimos años, por dos razones principales. Primero, los recortes presupuestarios obligado a impulsar la eficiencia. "La gente está reclamando reducir los presupuestos a la policía, pero eso ya ha pasado. Los ayuntamientos llevan años en camino a la bancarrota, y han estado sustituyendo a los policías por algoritmos", sostiene Milner.  Resulta difícil conseguir las cifras exactas, pero se cree que las fuerzas policiales y los tribunales utilizan las herramientas predictivas en la mayoría de los estados de EE. UU. 

La segunda razón del mayor uso de algoritmos es la creencia generalizada de que son más objetivos que los humanos: se introdujeron por primera vez para que la toma de decisiones en el sistema de justicia penal fuera más justa. A partir de la década de 1990, las primeras técnicas automatizadas utilizaban árboles de decisión basados en reglas, pero hoy en día la predicción se realiza con el aprendizaje automático.

No obstante, la creciente evidencia sugiere que los prejuicios humanos se han integrado en estas herramientas porque los modelos de aprendizaje automático están entrenados con los datos policiales sesgados. Lejos de evitar el racismo, simplemente lo ocultan mejor. Muchos críticos consideran que estas herramientas son una forma de lavado tecnológico, donde una apariencia de objetividad cubre los mecanismos que perpetúan las desigualdades en la sociedad.

"En los últimos años las opiniones de las personas sobre estas herramientas han pasado de ser de algo que podría reducir el sesgo a algo que podría consolidarlo", destaca la  abogada, científica y directora de la investigación sobre la justicia, transparencia y responsabilidad de la asociación sin ánimo de lucro Partnership on AI, Alice Xiang. Estos sesgos se han agravado desde que apareció la primera generación de herramientas de predicción hace 20 o 30 años. "Se han tomado datos falsos desde el principio, y luego se han utilizado las herramientas para empeorarlo. Básicamente se trata de un ciclo que se autorrefuerza una y otra vez", subraya la especialista en el sesgo algorítmico en la Universidad de Colorado Boulder (EE. UU.) Katy Weathington.

Y las cosas podrían empeorar aún más. A raíz de las protestas sobre los sesgos policiales después de la muerte de George Floyd a manos de un oficial de policía en Minneapolis (EE. UU.), algunos departamentos de policía están duplicando su uso de herramientas predictivas. En junio, el inspector del Departamento de Policía de Nueva York (EE. UU.), Dermot Shea, envió una carta a sus oficiales en la que decía: "En el clima actual, tenemos que luchar contra el crimen de una manera diferente. Lo haremos con menos detenciones en la calle, quizás exponiéndonos a menos peligro y responsabilidad, mientras utilizamos mejor los datos, la inteligencia y toda la tecnología a nuestra disposición... Eso significa que, por parte de la policía de Nueva York, redoblaremos nuestros esfuerzos de vigilancia policial de precisión".

A la policía le gusta la idea de disponer de herramientas que les den avisos y les permitan intervenir con antelación, porque creen que eso mantiene bajas las tasas de criminalidad, según  la directora de investigación de políticas en AI Now Institute, Rashida Richardson. Pero en la práctica, su uso puede parecer acoso. Los investigadores han descubierto que algunos departamentos de policía dan a los oficiales unas listas de personas "más buscadas", que son aquellas que la herramienta identifica como de alto riesgo.

Esto salió a la luz cuando algunas personas de Chicago (EE. UU.) informaron de que la policía había estado llamando a su puerta para decirles que estaban siendo vigiladas. En otros estados, destaca Richardson, la policía advirtió a algunas personas de que las listas mostraban un alto riesgo de estar involucradas en actos delictivos de las bandas y les pidió que tomaran medidas para evitarlo. Si luego acababan arrestadas por cualquier tipo de delito, los fiscales utilizaban la advertencia previa para aumentar los cargos. "Es casi como una forma digital de emboscada, en la que se le da a la gente información poco clara y luego se lo reprocha", sostiene.

"Es casi como una forma digital de emboscada".

Del mismo modo, algunos estudios, incluido el que fue encargado por el Centro de Ética de Datos e Innovación del Gobierno de Reino Unido el año pasado, sugieren que identificar ciertas áreas como puntos críticos prepara a los policías para las situaciones problemáticas durante sus patrullas, lo que aumenta la probabilidad de que detengan o arresten a personas en esas zonas por prejuicios, no por necesidad. 

Otro problema con los algoritmos es que muchos fueron entrenados con poblaciones blancas ajenas a EE. UU., en parte porque es difícil conseguir antecedentes penales en diferentes jurisdicciones. Static 99, la herramienta diseñada para predecir la reincidencia entre delincuentes sexuales, se entrenó en Canadá, donde solo hay alrededor del 3 % de la población negra en comparación con el 12 % en EE. UU. Varias otras herramientas utilizadas en EE. UU. se desarrollaron en Europa, donde solo el 2 % de la población es negra.

Debido a las diferencias en las condiciones socioeconómicas entre los países y las poblaciones, es probable que las herramientas sean menos precisas en lugares distintos al del origen del entrenamiento. Además, algunos algoritmos que se utilizan antes del juicio, entrenados hace muchos años, todavía usan algunos indicadores desactualizados. Por ejemplo, algunos todavía predicen que es menos probable que un acusado que no tiene teléfono fijo se presente en el juzgado.

En este contexto, cabe preguntarse si estas herramientas, aunque imperfectas, tienen algún tipo de utilidad o funcionan. Depende de lo que se entienda con "funcionar". En general, es prácticamente imposible separar el uso de herramientas predictivas de vigilancia policial de otros factores que afectan a los índices de criminalidad o de encarcelamiento. Aun así, varios pequeños estudios han sacado algunas conclusiones limitadas. Unos muestran signos de que el uso de herramientas de evaluación de riesgos por parte de los juzgados ha tenido un ligero impacto positivo.

Un estudio de 2016 de una herramienta de aprendizaje automático utilizada en Pensilvania para las decisiones sobre la libertad condicional no encontró pruebas de que pusiera en peligro la seguridad pública (es decir, identificó correctamente a las personas de alto riesgo que no deberían ser puestas en libertad condicional) y alguna evidencia de que identificó a personas no violentas que podrían ser liberadas de forma segura.

Foto: Rashida Richardson es directora de investigación de políticas en el AI Now Institute. Antes lideró trabajos sobre los temas jurídicos relacionados con la privacidad y la vigilancia en la Unión Americana de Libertades Civiles. Crédito: cortesía de AI Now.

Otro estudio, en 2018, analizó una herramienta utilizada por los juzgados de Kentucky  (EE. UU.) y descubrió que, aunque los cálculos de riesgo se interpretaban de manera inconsistente entre los condados, lo que condujo a discrepancias sobre quién quedaba en libertad y quién no, la herramienta habría reducido ligeramente las tasas de encarcelamiento si se hubiera utilizado correctamente. Y la Unión Americana de Libertades Civiles (ACLU, por sus siglas en inglés) informa de que una herramienta de evaluación adoptada como parte de la Ley de Reforma de Justicia Penal de Nueva Jersey (EE. UU.) de 2017 dio como resultado una disminución del 20 % en el número de personas encarceladas mientras esperaban su juicio.

Los defensores de tales herramientas sostienen que los algoritmos pueden ser más justos que los decisores humanos, o por lo menos resaltar de forma explícita la injusticia. En muchos casos, especialmente en diligencias previas sobre la posible fianza, se espera que los jueces revisen docenas de casos en poco tiempo. En un estudio de diligencias previas en Ilinois (EE. UU.), los investigadores encontraron que los jueces habían dedicado una media de solo 30 segundos a cada caso.

En tales condiciones, es razonable suponer que los jueces toman decisiones rápidas impulsadas, al menos en parte, por sus prejuicios personales.   La experta en temas jurídicos en torno a las herramientas de evaluación de riesgos de la Universidad de Surrey en Reino Unido Melissa Hamilton critica su uso en la práctica, pero cree que, en principio, pueden realizar un mejor trabajo que las personas. "La alternativa es el cerebro de caja negra de un tomador de decisiones humano", resalta.

Pero hay un problema obvio. Los datos de arresto utilizados para entrenar las herramientas predictivas no reflejan de forma precisa la actividad criminal. Los datos de arresto se usan porque es lo que registran los departamentos de policía. Pero los arrestos no necesariamente conducen a condenas. Xiang detalla: "Tratamos de analizar a las personas que cometen delitos, pero solo tenemos datos sobre arrestos".

"Tratamos de analizar a las personas que cometen delitos, pero solo tenemos datos sobre arrestos".

Además, la información sobre arrestos esconde modelos de comportamiento policial racista. Como resultado, es más probable que predigan un alto potencial de delincuencia en barrios de minorías o entre personas minoritarias. Incluso cuando los datos de arrestos y delitos coinciden, hay muchísimas razones socioeconómicas por las que ciertas poblaciones y barrios tienen mayores tasas históricas de criminalidad que otros. Introducir estos datos en herramientas predictivas permite que el pasado dé forma al futuro.

Algunas herramientas también usan datos sobre las zonas que más llamadas han hecho a la policía, un reflejo aún más débil de la tendencia criminal real que los datos de arresto, y más deformado por las motivaciones racistas. Como en el caso de Amy Cooper, quien llamó a la policía simplemente porque el ornitólogo aficionado negro Christian Cooper le pidió que pusiera una correa a su perro en el Central Park de Nueva York (EE. UU.).

"El hecho de que haya una llamada informando de un delito no significa que realmente se haya producido ese delito. Si la llamada se convierte en un punto de datos para justificar el envío de la policía a un barrio específico, o incluso para apuntar a un individuo específico, se obtiene un circuito de retroalimentación donde las tecnologías basadas en datos legitiman la vigilancia policial discriminatoria", sostiene Richardson.

A medida que cada vez más críticos argumentan que estas herramientas no son adecuadas para su propósito, se está reclamando un tipo de acción algorítmica afirmativa, en la que el sesgo en los datos se contrarresta de alguna manera. En teoría, una forma de llevar esto a cabo para los algoritmos de evaluación de riesgos sería utilizar umbrales de riesgo diferenciales: tres arrestos para una persona negra podrían indicar el mismo nivel de riesgo que, por ejemplo, dos arrestos para una persona blanca. 

Este fue uno de los enfoques analizados en un estudio publicado en mayo por la especialista en políticas públicas en la Universidad de California en Berkeley (EE. UU.), Jennifer Skeem, y el analista de ciencias sociales de la Oficina Administrativa de los Tribunales de Estados Unidos en Washington (EE. UU.) Christopher Lowenkamp. La pareja analizó tres opciones diferentes para eliminar el sesgo de los algoritmos que evaluaban el riesgo de reincidencia para alrededor de 68.000 participantes, la mitad blancos y la otra mitad de negros. Descubrieron que el mejor equilibrio entre razas se logró cuando los algoritmos tomaron en cuenta explícitamente la raza, lo que las herramientas existentes tienen prohibido legalmente, y asignaron a los negros un umbral más alto que a los blancos por ser considerados de alto riesgo.

Por supuesto, esta idea resulta bastante controvertida. Básicamente significa manipular los datos para perdonar una proporción de los crímenes en función de la raza del autor de los mismos, destaca Xiang: "Eso hace que la gente se sienta muy incómoda". La idea de mantener a los miembros de diferentes grupos con distintos estándares va en contra del sentido de igualdad de las personas, incluso si se hace de una manera que aborde la injusticia histórica. (Es posible probar este método por sí mismo en nuestro historial interactivo sobre el sesgo algorítmico en el sistema jurídico penal, que permite experimentar con una versión simplificada de la herramienta COMPAS). 

En cualquier caso, el sistema jurídico de Estados Unidos no está preparado para tener ese debate. "La profesión judicial no está al tanto de estas herramientas de evaluación de riesgos", destaca Hamilton. En los últimos años, ha impartido cursos de formación a abogados en los que descubrió que los letrados defensores a menudo ni siquiera saben que sus clientes están siendo evaluados de esta manera. "Si no son conscientes de ello, no lo van a cuestionar", asegura.

La falta de conciencia se puede atribuir a la poca transparencia de la situación general: la policía se ha mantenido en silencio sobre cómo utiliza estas tecnologías y por eso resulta muy difícil comprobar lo bien que funcionan. Incluso cuando hay información disponible, es complicado vincular un sistema a un resultado dado. Y los pocos estudios detallados que se han realizado se centran en algunas herramientas específicas y sacan conclusiones que podrían no aplicarse a otros sistemas o jurisdicciones.

Ni siquiera está claro qué herramientas se están utilizando y por parte de quién. Richardson subraya: "No sabemos cuántos departamentos de policía han usado, o siguen usando la vigilancia policial predictiva".

Por ejemplo, el hecho de que la policía de Nueva Orleans (EE. UU.) utilizaba una herramienta predictiva desarrollada por la misteriosa empresa de minería de datos Palantir salió a la luz solo después de una investigación realizada por The Verge. Y los registros públicos muestran que el Departamento de Policía de Nueva York ha pagado 2,5 millones de dólares (2,14 millones de euros) a Palantir pero no especifica para qué. 

La mayoría de las herramientas que usan los departamentos de policía son obra de una mezcla de pequeñas empresas, autoridades estatales e investigadores. Algunos son sistemas propietarios; otros no. Todos trabajan de una manera un poco diferente. Sobre la base de los resultados de las herramientas, los investigadores recrean, según sus posibilidades, lo que creen que está sucediendo.

El activista que luchó durante años para conseguir que la policía de Los Ángeles (EE. UU.) dejara de usar la herramienta predictiva llamada PredPol Hamid Khan exigió una auditoría de la herramienta por parte del inspector general del departamento de policía. Según Khan, en marzo de 2019, el inspector general afirmó que esa tarea era imposible porque la herramienta era muy complicada.

En Reino Unido, Hamilton intentó analizar la herramienta OASys, que, como COMPAS, se usa habitualmente en diligencias previas al juicio, sentencias y para decidir sobre la libertad condicional. La compañía responsable de OASys realiza sus propias auditorías y no ha publicado demasiada información sobre cómo funciona, según Hamilton. Ella ha intentado obtener información de los desarrolladores varias veces, pero dejaron de responder a sus solicitudes, y advierte: "Creo que vieron mis estudios y decidieron que no".

La respuesta habitual de las empresas que crean estas herramientas es que no pueden compartir información porque estarían revelando secretos comerciales o información confidencial sobre las personas que las herramientas han evaluado.

Todo esto significa que solo unas pocas han sido estudiadas en detalle, aunque hay información disponible sobre algunas. Static 99 fue desarrollada por un grupo de científicos de datos que compartieron algunos detalles sobre sus algoritmos. La evaluación de seguridad pública (Public Safety Assessment), una de las más comunes herramientas de evaluación preventiva de riesgo en EE. UU., fue desarrollada originalmente por la organización privada Arnold Ventures, pero resultó más fácil convencer a las jurisdicciones para que la adoptaran si revelaban algunos detalles de su funcionamiento, destaca Hamilton. Aun así, los creadores de ambas herramientas se han negado a publicar los conjuntos de datos usados para entrenar sus sistemas, justo lo que sería necesario para comprender bien cómo funcionan.

Comprar una herramienta de evaluación de riesgos está sujeto a las mismas regulaciones que comprar una máquina quitanieves.

No solo hay poca información sobre los mecanismos internos de estas herramientas, además, sus críticos creen que los departamentos de policía y los juzgados no están haciendo lo suficiente para asegurarse de comprar herramientas que funcionan como deberían. Para la policía de Nueva York, comprar una herramienta de evaluación de riesgos está sujeto a las mismas regulaciones que comprar una máquina quitanieves, subraya Milner. 

"La policía puede comprar tecnología sin saber lo que usa, sin invertir tiempo para garantizar su utilización segura. Y luego no hay una auditoría o análisis continuo para determinar si está funcionando bien", afirma Richardson.

Los esfuerzos para cambiar esta situación se han enfrentado a resistencia. En junio, la ciudad de Nueva York  aprobó  la  Ley de Supervisión Pública de la Tecnología de Vigilancia (POST), que exige que la policía local enumere todas sus tecnologías de vigilancia y describa cómo afectan a los residentes de la ciudad. La policía de Nueva York es la mayor fuerza policial en EE. UU., y los defensores de esta ley esperan que la divulgación también arroje luz sobre qué tecnología utilizan los otros departamentos de policía del país. Pero llegar tan lejos fue difícil. Richardson, que participó en la promoción del proyecto de ley, lo veía en el limbo desde 2017, hasta que en los últimos meses los llamamientos a una reforma policial generalizados inclinaron la balanza.

Richardson decidió trabajar en el proyecto de ley por la frustración de intentar encontrar información básica sobre las prácticas de vigilancia digital policial en Nueva York. La policía lo rechazaba cuando ella y sus colegas querían aprender más sobre el uso de herramientas de vigilancia por parte de la policía de Nueva York. No funcionaban ni los reclamos de la Ley de Libertad de Información ni las demandas de la Unión de Libertades Civiles de Nueva York. En 2015, con la ayuda del concejal Daniel Garodnik, propusieron una ley que forzaría la solución de ese problema. 

La experta recuerda: "Hemos sufrido una gran reacción negativa por parte de la policía de Nueva York, incluida una desagradable campaña de relaciones públicas que sugería que el proyecto de ley iba a entregar el mapa de la ciudad a los terroristas. No tuvimos apoyo del alcalde ni del ayuntamiento tan hostil". 

Teniendo en cuenta sus problemas éticos y su falta de transparencia, el estado actual de la vigilancia policial predictiva es un desastre. Pero, ¿qué se puede hacer al respecto? Xiang y Hamilton piensan que las herramientas algorítmicas tienen el potencial de ser más justas que los humanos, siempre y cuando todos los involucrados en su desarrollo y uso sean plenamente conscientes de sus limitaciones y trabajen deliberadamente para hacerlas justas.

Pero este desafío no es meramente técnico. Se debe decidir qué hacer respecto al sesgo en los datos, porque es algo que está ahí para quedarse. "Lleva consigo las cicatrices de las generaciones de vigilancia policial", explica Weathington.

Y lo que significa tener un algoritmo justo no es algo que los científicos informáticos puedan responder. Xiang señala: "No es algo que realmente nadie pueda responder. Se plantea la idea de cómo sería un sistema justo de justicia penal. Ni siquiera los abogados, ni los expertos en ética, son capaces de dar una respuesta firme a eso. Se trata de preguntas fundamentales que no se pueden solucionar como un problema matemático", añade. 

Hamilton está de acuerdo. Los grupos de derechos civiles tienen que tomar una decisión difícil. Y añade: "Si nos ponemos en contra de la evaluación de riesgos, es probable que más minorías permanezcan encerradas. Si aceptamos la evaluación de riesgos, seremos cómplices de promover el sesgo racial en los algoritmos".

Pero esto no significa que no se pueda hacer nada. Richardson cree que, por su "ignorancia táctica", a los responsables políticos deberían ser responsables de las deficiencias de estas herramientas. Por ejemplo, la policía de Nueva York ha estado involucrada en docenas de demandas relacionadas con años de vigilancia sesgada. La investigadora señala: "No entiendo cómo es posible lidiar activamente con las negociaciones de acuerdos sobre las prácticas con sesgos raciales y seguir pensando que está bien utilizar los datos resultantes de esas prácticas".

Para Milner, la clave para lograr el cambio reside en involucrar a las personas más afectadas. En 2008, después de ver como arrestaban a esos chicos que conocía, se unió a una organización que encuestó a alrededor de 600 jóvenes sobre sus experiencias con los arrestos y la brutalidad policial en las escuelas, y luego convirtió lo que aprendió en un cómic. Los jóvenes de todo el país utilizaron ese cómic para empezar a llevar a cabo un trabajo similar en sus lugares de residencia.

Hoy en día su organización, Data for Black Lives, coordina alrededor de 4.000 ingenieros de software, matemáticos y activistas en universidades y centros comunitarios. Las herramientas de evaluación de riesgos no son la única forma en la que el uso indebido de datos perpetúa el racismo sistémico, pero es una de ellas. La activista afirma: "No podemos evitar que las empresas privadas desarrollen herramientas de evaluación de riesgos, pero podemos cambiar la cultura y educar a las personas, darles herramientas para rechazarlo".

Para lograrlo, están formando en ciencia de datos a algunas personas que han pasado tiempo en la cárcel para que puedan participar en la reforma de las tecnologías utilizadas por el sistema de justicia penal. 

Mientras tanto, Milner, Weathington, Richardson y otros piensan que la policía debería dejar de usar las herramientas predictivas defectuosas hasta que haya una forma acordada de convertirlas en más justas.

La mayoría de la gente estaría de acuerdo en que la sociedad debería tener una manera de decidir quién es un peligro para los demás. Pero sustituir a un policía o juez humano con prejuicios por algoritmos que simplemente ocultan esos mismos prejuicios no es la solución. Si existe la mínima posibilidad de que esos sistemas perpetúen las prácticas racistas, deberían ser eliminados.

Sin embargo, como han descubierto los defensores de ese cambio, se necesitan muchos años para marcar la diferencia, aguantando la resistencia a cada paso. No es una casualidad que tanto Khan como Richardson hayan visto progresos después de esas semanas de indignación nacional por la brutalidad policial. Richardson admite: "Las recientes protestas definitivamente han jugado a nuestro favor". Pero ella y sus compañeros llevan cinco años ejerciendo una constante presión. Khan también lleva años haciendo campaña contra la vigilancia policial predictiva en la policía de Los Ángeles. 

Esa presión debe continuar, incluso después de que las marchas hayan parado. Milner concluye: "Eliminar el sesgo no es una solución técnica. Se necesita un cambio de política más profundo y, sinceramente, menos sexy y más costoso".