.

Damon Casarez

Tecnología y Sociedad

"Crear un algoritmo de vigilancia sin sesgos es imposible"

1

Hamid Khan lleva 35 años luchando contra la vigilancia predictiva. Ya sea mediante registros manuales o tecnologías automatizadas, el activista afirma que estos sistemas basados en la ubicación o el origen son formas de control y racismo contra las minorías, y ya ha ganado algunas batallas importantes contra ellos

  • por Tate Ryan-Mosley | traducido por Ana Milutinovic
  • 11 Junio, 2020

Hamid Khan lleva más de 35 años ejerciendo activismo comunitario en Los Ángeles (EE. UU.), con un foco constante en la violencia policial y los derechos humanos. Hemos hablado con él sobre inteligencia artificial (IA) y vigilancia. Es fundador del grupo Stop LAPD Spying Coalition (coalición para detener el espionaje por parte de la policía de Los Ángeles), que ha ganado muchos procedimientos judiciales emblemáticos en nombre de las comunidades minoritarias por las que lucha. Su labor más conocida es quizás su lucha contra la vigilancia predictiva. Unas semanas después de haber realizado entrevista, el Departamento de Policía de Los Ángeles (LAPD) anunció el cese de todos los programas de vigilancia predictiva

Khan es una persona controvertida que ha rechazado asociaciones con grupos como la Fundación Electronic Frontier (EFF) por su insistencia en la reforma. No cree que la reforma funcione.

¿Qué puede decirnos sobre su trabajo? ¿Por qué le preocupa la vigilancia policial?

El trabajo que realizamos, especialmente centrado en el LAPD, analiza cómo la vigilancia, la recogida, el almacenamiento y el intercambio de información se han utilizado históricamente para causar daños, rastrear, perseguir, monitorear, acechar a algunas comunidades concretas: a los pobres, a los negros y latinos, a la sociedad que se consideraría sospechosa, y a los grupos transexuales y queer. Así que, la vigilancia es un proceso de control de la sociedad en varios niveles. 

¿Cree que la tecnología tiene un papel en la vigilancia policial?

Stop LAPD Spying Coalition tiene algunos valores por los que se rige. El primero consiste en que lo que está ocurriendo no es algo puntual sino una continuación de la historia. La vigilancia se ha utilizado durante cientos de años. Algunos de los primeros procesos de vigilancia se remontan a las normas de los faroles en la ciudad de Nueva York (EE. UU.) a principios de 1700. Un esclavo, un negro o un indígena que salía a la zona pública sin su amo, tenía que caminar literalmente con un farol, con la luz de una vela, para así identificarse básicamente como sospechoso, como el "otro".

El segundo valor por el que nos regimos es que siempre hay algún "otro". Históricamente hablando, siempre ha existido una "amenaza para el sistema". Siempre hay un grupo, un individuo o un conjunto de personas que se consideran peligrosos. Son los sospechosos declarados. 

El tercer valor es que siempre intentamos eliminar el sensacionalismo del discurso sobre la seguridad nacional. Para que sea muy sencillo y directo, [tratamos de mostrar] cómo funciona el entorno de la recogida e intercambio de información y que se trata de un proceso para controlar a la gente.

"Los algoritmos no deberían formar parte de la vigilancia policial".

Y uno de nuestros últimos valores principales es que nuestra lucha tiene sus raíces en los derechos humanos. Somos un grupo extremadamente abolicionista, así que nuestro objetivo es desmantelar el sistema. No participamos en enfoques reformistas. También consideramos cualquier desarrollo de políticas en torno a la transparencia, la exigencia de responsabilidades y la supervisión como un modelo de la ampliación de las actividades. Cada vez que la vigilancia se legitima, puede expandirse con el tiempo. En estos momentos, estamos luchando en Los Ángeles para mantener los drones en tierra, y pudimos conseguirlo durante unos años. Pero a finales del pasado marzo, el Departamento de Policía de Chula Vista en San Diego (EE. UU.) anunció que equiparía sus drones con altavoces para controlar el movimiento de las personas sin hogar.

¿Puede explicar el trabajo de Stop LAPD Spying Coalition relacionado con la vigilancia predictiva? ¿Cuáles son los problemas desde su punto de vista?

PredPol fue un modelo de vigilancia predictiva basado en la ubicación en el que se identificaba como un punto caliente una zona de 46 metros cuadrados. El otro programa complementario, la Operación Láser, fue el tipo de vigilancia predictiva basado en las personas.

En 2010, analizamos las diversas formas en las que se implementaban estos programas [de vigilancia del LAPD]. La vigilancia predictiva era el programa clave. Lanzamos formalmente una campaña en 2016 para comprender el impacto de la vigilancia predictiva en Los Ángeles con el objetivo de desmantelar el programa, de llevar esta información a la sociedad y de contraatacar.

La vigilancia predictiva basada en las personas aseguraba se dirigía a gente denominada como "personas de interés" o "delincuentes habituales", que podían haber tenido algunos antecedentes en el pasado, podríamos utilizar una herramienta de evaluación de riesgos para determinar si iban a reincidir. Así que se trataba de un juego de números. Si habían poseído armas en el pasado, se les asignaban cinco puntos. Si estaban en libertad condicional o provisional, se les asignaban otros cinco puntos. Si formaban parte de alguna banda, se les asignaban cinco puntos más. Si tenían interacciones registradas con la policía, se les asignaba un punto. Y entonces las personas que estaban en libertad condicional o provisional, o que intentaban reconstruir sus vidas, se introducían en lo que se conocía como el Programa de Delincuentes Crónicos, sin que muchas lo supieran.

"Así se criminaliza una ubicación y una población y falta muy poco para sacar un arma, disparar y matar a alguien".

Luego, basándose en esta evaluación de riesgos, con Palantir procesando todos los datos, el LAPD creó una lista. Empezaron a crear folletos informativos, que eran como los pósteres de los más buscados con fotos de estas personas, direcciones e historiales, y los colocaban en los coches de patrulla. Empezaron a usar lectores de matrículas de coches, stingray, el IMSI-Catcher, CCTV y varios otros dispositivos tecnológicos para rastrear sus movimientos, y luego crear condiciones para detenerlos y perseguirlos e intimidarlos. Tuvimos que generar mucha fuerza social, y en abril de 2019, la Operación Láser fue oficialmente desmantelada y cancelada.

Actualmente seguimos detrás de PredPol y exigimos que también se elimine. [LAPD anunció el final de PredPol el 21 de abril de 2020.] Nuestro objetivo para la abolición y desmantelamiento de este programa no se basa únicamente en la información basura, en los datos racistas. Nuestro trabajo está arraigado en que, al final, esto sirve a cualquier marco ideológico del patriarcado,del capitalismo y de la supremacía blanca y del colonialismo del conquistador.

En mayo de 2018 publicamos el informe Before the Bullet Hits the Body (Antes de recibir una bala),  sobre la vigilancia predictiva en Los Ángeles, que llevó a la ciudad a celebrar audiencias públicas sobre la vigilancia basada en datos, que fueron las primeras de este tipo en nuestro país. Exigimos una auditoría forense de PredPol por parte del inspector general. En marzo de 2019, el inspector general publicó la auditoría y dijo que ni siquiera podríamos auditar PredPol porque simplemente no era posible. Era muy complicado.

Los algoritmos no deberían formar parte de la vigilancia policial. Creo que es fundamental comprender que hay vidas en juego. Este lenguaje de vigilancia basada en la ubicación es en sí misma un indicador del racismo. No están allí para vigilar baches y árboles. Están allí para vigilar a las personas en ese lugar. Así se criminaliza una ubicación y una gente y falta muy poco para sacar un arma, disparar y matar a alguien.

Foto: Los líderes del equipo de Stop LAPD Spying Coalition Hamid Khan (derecha), Jamie García (centro) y Gen Dogon (izquierda) en el barrio de Skid Row en Los Ángeles, donde tienen su sede. Créditos: Damon Casarez

¿Cómo trabajan para que la sociedad entienda este tipo de tácticas policiales? 

Los informes públicos son una buena herramienta para obtener información. ¿Cuál era el origen de este programa? Queremos saber: ¿Cuál era la idea? ¿Cómo se describía? ¿Cuál era el objetivo de la financiación? ¿Qué vocabulario usaban? ¿Cuáles eran los resultados que presentaron al patrocinador? 

"Soy un ser humano, y no estoy aquí para que me desempaqueten y empiecen a experimentar conmigo y luego me vuelvan a empaquetar".

Ellos [la policía de Los Ángeles] definían un área, un edificio de viviendas, como puntos calientes o zonas. Y paraban a la gente para registros a un ritmo mucho más rápido [allí]. Cada vez que se para alguien para registrarlo, esa información va a una base de datos. Eso se convirtió en un importante programa de recogida de datos. 

Les exigimos que publicaran la lista secreta que tenían sobre estos individuos. LAPD se defendió, y ganamos esa demanda de registros públicos. Así que ahora tenemos una lista secreta de 679 personas con las que queremos contactar. Y todos son jóvenes, en su mayoría entre 90 % y 95 % negros y latinos. 

Al marcar un área se crean condiciones en el terreno para un mayor desarrollo, más gentrificación, más desalojo, más desplazamiento de personas. Así que la policía se convirtió en el protector de la propiedad privada y de los privilegios.

¿Qué diría usted a las personas que creen que la tecnología puede ayudar a mitigar algunos de los problemas de la vigilancia, como los sesgos, porque la tecnología puede ser objetiva? 

En primer lugar, la tecnología no funciona por sí sola. Desde el diseño hasta la producción, desde la instalación hasta el resultado, siempre hay algún sesgo incorporado. No son solo sesgos de las personas, sino el sesgo inherente dentro del sistema

Hay tantos puntos de influencia que, francamente, nuestra lucha no tiene que ver con limpiar los datos. Nuestra lucha no consiste en lograr algoritmos imparciales, porque no creemos que sea posible tener un algoritmo de vigilancia sin sesgos, ni siquiera matemáticamente.

¿Cuáles son los planteamientos de derechos humanos en cuanto la tecnología policial y la vigilancia?

El primer derecho humano sería dejar de formar parte de un experimento. Soy un ser humano, y no estoy aquí para que me desempaqueten y empiecen a experimentar conmigo y luego me vuelvan a empaquetar. Hay tanto tráfico de datos sobre nuestras vidas. Desde el capitalismo colonial hasta el racial y ahora también el de la vigilancia, estamos sujetos a ser comprados y vendidos. Nuestras mentes y nuestros pensamientos han sido convertidos en mercancías. Eso también tiene un efecto de empobrecimiento mental, en nuestra creatividad como seres humanos, como partes del universo natural. Nosotros somos los que producimos el consentimiento.

Con el coronavirus (COVID-19), estamos viendo que algunas personas están dispuestas a renunciar a algunos de sus datos y de su privacidad. ¿Qué opina sobre esa elección o el compromiso entre la utilidad y la privacidad? 

Tenemos que mirarlo realmente a través de una lente mucho más amplia. Volviendo a uno de nuestros valores principales: esto no es un momento en el tiempo sino una continuación de la historia. Así que debemos analizar las crisis del pasado, tanto las reales como las inventadas. 

Por ejemplo, los Juegos Olímpicos de 1984 en Los Ángeles. Causaron la mayor expansión de fuerzas policiales y militarización del Departamento de Policía de Los Ángeles bajo la excusa de la seguridad pública. La idea era: "Bueno, queremos mantener a todos a salvo". Pero no solo [se convirtió] en una característica permanente y en la nueva normalidad, sino que también se desarrollaron varias tácticas. Como se tenían que limpiar las calles, los sospechosos, las personas sin hogar, fueron retiradas a la fuerza. Supuestamente se empezaron a erradicar las bandas. Así que los jóvenes negros y latinos eran arrestados en masa. Esto fue en 1983, entrando a 1984.

En 1986-1987 en Los Ángeles, las medidas cautelares de las bandas se convirtieron en una característica permanente. Esto dio lugar a enormes bases de datos de pandillas, había niños de tan solo nueve meses en ellas. Eso se convirtió en la Operación Martillo, se usaban los tanques y vehículos blindados, los que utilizaban los SWAT, para gestionar delitos menores relacionados con drogas, y para derribar y entrar a la fuerza a las casas de la gente.

Ahora estamos de nuevo en un momento así. No se trata solo de la expansión estructural de las fuerzas policiales; hay que ver a la policía que ahora asume cada vez más funciones como trabajadores sociales. Se ha estado formando en los últimos 10 años. También hay mucho dinero en los servicios sociales y sanitarios. Por ejemplo, en Los Ángeles, el organismo de control de la ciudad realizó una auditoría hace unos cinco años, y analizó los 100 millones de dólares (88 millones de euros) que ofrece la ciudad destinados a los servicios para las personas sin hogar. ¿Sabe qué pasó con ellos? De esa cantidad, 87 millones de dólares (77 millones de euros) fueron para el LAPD.  

¿Puede dar un ejemplo concreto de cómo el uso policial de la tecnología afecta a los miembros de la sociedad?

La vigilancia policial basada en inteligencia es un concepto que surge de Inglaterra y en Estados Unidos. empezó hace unos 30 años. El centro de la vigilancia policial basada en inteligencia es el control del comportamiento. El comportamiento de las personas debe ser monitoreado, y luego procesado, y esa información se tiene que compartir. La gente tiene que ser rastreada y perseguida.  

"No existe un racismo más amable y suave, y estos programas deben ser eliminados".

Un programa llamado Informes de Actividades Sospechosas salió del 11 de septiembre, en el que varias actividades que están completamente protegidas constitucionalmente se enumeran como potencialmente sospechosas. Por ejemplo, tomar fotografías en público, usar cámaras de vídeo en público, entrar en edificios y preguntar sobre el horario de trabajo. Se considera un comportamiento razonablemente indicativo de la planificación preoperatoria de actividades criminales y/o terroristas. Así que se analiza el comportamiento de alguien, que razonablemente indica que no hay una causa probable. No crea un hecho, sino una preocupación. La vigilancia policial especulativa y basada en sospechas es algo real.  

Pudimos obtener algunos informes del programa See Something, Say Something (Si ves algo, di algo) del LAPD. Y lo que encontramos fue un efecto desigual de 3:1 en la comunidad negra. Alrededor del 70 % de estos informes provienen de sociedades predominantemente blancas de Los Ángeles. Así que ahora ese programa se usa como un arma y se convierte en una licencia para crear perfiles de forma racial.

El objetivo siempre consiste en desarrollar el poder hacia la abolición de estos programas, porque no se pueden reformar. No existe un racismo más amable o más suave, y estos programas tienen que ser eliminados.

Entonces, ¿realmente piensa que la reforma no permitirá el uso de estas tecnologías en la vigilancia policial?

Solo puedo hablar desde mi propia experiencia de 35 años de activismo en Los Ángeles. No se trata de mejorar, sino de empeorar. Y creo que la tecnología está fomentando eso. Cuando se ve el historial de la reforma, seguimos golpeándonos la cabeza contra la pared, y vuelve a lo mismo de siempre. Realmente no podemos trabajar bajo el supuesto de que los corazones y las mentes pueden cambiar, especialmente cuando alguien tiene licencia para matar.

No soy tecnólogo. Nuestros avisos van dirigidos a los tecnólogos: deberían quedarse en su campo. Seguir a la sociedad y que ella sea su guía.

Tecnología y Sociedad

Los avances tecnológicos están cambiando la economía y proporcionando nuevas oportunidades en muchas industrias.

  1. El éxodo a Bluesky marca el inicio de la era de las redes sociales descentralizadas

    Bluesky ha ganado terreno como alternativa a X, especialmente tras las últimas elecciones en EE UU. Sin embargo, este fenómeno no refleja el ascenso de un servicio ni el declive de otro, sino una tendencia hacia la descentralización

    Una persona entra a Bluesky desde su teléfono móvil
  2. La herramienta de Google DeepMind para "leer la mente" de la inteligencia artificial

    Un equipo de Google DeepMind ha creado Gemma Scope, una herramienta diseñada para desentrañar los procesos internos de una IA y comprender cómo llega a sus conclusiones. Este avance abre la puerta a algoritmos más transparentes y alineados con las expectativas humanas

    Google DeepMind tiene una nueva herramienta para explorar la IA
  3. El fundador de Oculus habla sobre la apuesta de EE UU por la realidad mixta en el campo de batalla

    El proyecto norteamericano de gafas militares está cuestionado, pero Palmer Luckey cree que los cascos dotados con IA y realidad aumentada serán clave en los ejércitos del futuro