Dado que nuestro contacto más habitual con los algoritmos de inteligencia artificial (IA) se produce a través de nuestro muro de noticias de Facebook y los resultados de búsqueda que Google nos muestra, cualquiera podría pensar que la IA no tiene un impacto demasiado grande en la vida de las personas.  Pero en la conferencia Data for Black Lives celebrada recientemente en EE. UU., muchos tecnólogos, expertos legales y activistas dieron perspectiva al asunto con un debate sobre el sistema de justicia penal de Estados Unidos. Allí, un algoritmo puede determinar el curso de la vida de una persona.

Estados Unidos encarcela a más personas que cualquier otro país del mundo. A finales de 2016, había casi 2,2 millones de adultos recluidos en cárceles o prisiones, y otros 4,5 millones se encontraban en otros establecimientos penitenciarios. Dicho de otra manera, uno de cada 38 adultos estadounidenses estaba bajo algún tipo de supervisión correccional. Esta situación dantesca es uno de los pocos temas en los que los políticos de ambos lados están de acuerdo.

Bajo una inmensa presión para reducir el número de encarcelados sin correr el riesgo de que aumente el crimen, los tribunales de EE. UU. han recurrido a herramientas automatizadas para intentar evaluar a los acusados​ de forma más eficiente y segura. Aquí es donde entra en juego la inteligencia artificial (ver La inteligencia artificial ya es capaz de evitar la prisión preventiva innecesaria).

Los departamentos de policía utilizan algoritmos predictivos para decidir dónde enviar sus formaciones (ver El experimento de la Policía de Chicago para prevenir la violencia no funciona). Las fuerzas del orden utilizan sistemas de reconocimiento facial para ayudar a identificar a los sospechosos. Estas prácticas han sido sometidas a un gran escrutinio para ver si realmente mejoran la seguridad o simplemente perpetúan las existentes inequidades. Varios investigadores y defensores de los derechos civiles, por ejemplo, han demostrado repetidamente que los sistemas de reconocimiento de rostros pueden fallar y mucho, en particular con los individuos de piel oscura, incluso confundiendo a algunos miembros del Congreso de EE.UU. con delincuentes condenados (ver La precisión de los sistemas de reconocimiento facial de la policía depende de la raza).

Pero la herramienta más controvertida entra en acción después de que la policía haya realizado un arresto. Se trata de los algoritmos de evaluación del riesgo delictivo.

Las herramientas de evaluación de riesgo están diseñadas para captar los detalles del perfil de un acusado y estimar sus posibilidades de reincidir. Luego, un juez comprueba los factores de esa puntuación para tomar varias decisiones asociadas al tipo de servicios de rehabilitación al que se enfrentarán los acusados, a si deben permanecer en la cárcel antes del juicio e incluso a la propia sentencia. Una puntuación baja allana el camino para un destino más grato. Una puntuación alta hace precisamente lo contrario.

El uso de tales herramientas algorítmicas se basa en la siguiente lógica: si es posible predecir con precisión el comportamiento delictivo, se podrían asignar los recursos en consecuencia, ya sea para la rehabilitación o para las penas de prisión. En teoría, también reduciría cualquier influencia de sesgo en el proceso, porque los jueces tomarían sus decisiones en función de las recomendaciones lugar de en sus instintos.

Es probable que a estas alturas del artículo usted esté empezando a detectar el problema. Las herramientas modernas de evaluación de riesgo a menudo dependen de algoritmos entrenados con datos históricos de delitos.

Como ya hemos escrito anteriormente, los algoritmos de aprendizaje automático utilizan estadísticas para encontrar patrones en los datos. Entonces, si se alimentan con datos históricos de los delitos, encontrará los patrones relacionados con los delitos. Pero esos patrones son correlaciones estadísticas y no son lo mismo que las causas. Si un algoritmo descubriera, por ejemplo, que los ingresos bajos se correlacionaban con un alto nivel de reincidencia, nos quedaríamos con la idea de que los bajos ingresos provocan un comportamiento delictivo. Y esto es precisamente lo que hacen las herramientas de evaluación de riesgo: convierten las percepciones correlativas en mecanismos de calificación de las causas.

Las poblaciones que históricamente han sido perseguidas por las fuerzas del orden público de manera desproporcionada, especialmente las comunidades con ingresos bajos y las minorías, ahora están en riesgo de recibir puntuaciones más altas de reincidencia. Como resultado, el algoritmo podría amplificar y perpetuar los sesgos ya existentes y generar aún más datos afectados por esos sesgos para alimentar ese ciclo vicioso. Y como la mayoría de los algoritmos de evaluación de riesgo están patentados, es imposible cuestionar sus decisiones o hacerlos responsables (ver Unámonos para evitar la discriminación de los algoritmos que nos gobiernan).

El debate sobre estas herramientas sigue abierto. En julio pasado, más de 100 organizaciones comunitarias y de los derechos civiles firmaron una declaración en la que instaban a no utilizar la evaluación de riesgo delictivo. Al mismo tiempo, cada vez más jurisdicciones y estados, incluido California (EE.UU.), han recurrido a ellos en un esfuerzo desesperado para arreglar sus sobrecargadas cárceles y prisiones.

La evaluación de riesgo delictivo basada en datos es una forma de suavizar y legitimar los sistemas opresivos, afirmó la directora ejecutiva de Law for Black Lives, Marbre Stahly-Butts, en el escenario de la conferencia. Es una forma de desviar la atención de los problemas reales que afectan a las comunidades de ingresos bajos y de las minorías, como las escuelas con pocos fondos y el acceso inadecuado a la asistencia médica. La responsable sentenció: "No somos riesgos, somos necesitados".