Describir un sistema de toma de decisiones como un "algoritmo" suele ser una forma de evitar la responsabilidad por las decisiones humanas. Para muchos, ese término implica un conjunto de reglas basadas en pruebas objetivas o datos empíricos. También significa que se trata de un sistema muy complejo, quizás tanto que un ser humano tendría dificultades para comprender su funcionamiento interno o preverlo antes de que se implemente.

Pero ¿esa descripción es correcta? No siempre.

Por ejemplo, a finales de diciembre, la asignación incorrecta de vacunas contra el coronavirus (COVID-19) del Centro Médico de Stanford (EE. UU.) se atribuyó a un "algoritmo" de distribución que priorizó a los administradores de alto rango sobre los médicos de primera línea. El hospital afirmó haber consultado con especialistas en ética para diseñar su "muy complejo algoritmo", que según explicó un representante "claramente no funcionaba bien", como informó MIT Technology Review en aquel momento. Aunque muchas personas interpretaron el uso de ese término como si la inteligencia artificial (IA) o el aprendizaje automático estuvieran involucrados en el asunto, el sistema era de hecho un algoritmo médico, que es un concepto muy diferente. El 'algoritmo' de Stanford se parecía más a una fórmula muy simple o un árbol de decisiones diseñado por un comité.

Esta diferencia refleja un problema creciente. A medida que los modelos predictivos proliferan, la sociedad se vuelve más cauta con sus aplicaciones para tomar decisiones críticas. Pero, dado que los formuladores de políticas ya están empezando a desarrollar estándares para evaluar y controlar algoritmos, primero deben definir la clase de toma de decisiones o herramientas de apoyo a las que se aplicarán sus políticas. Dejar el término "algoritmo" abierto a distintas interpretaciones podría colocar algunos de los modelos con mayor impacto fuera del alcance de las políticas diseñadas para garantizar que dichos sistemas no perjudiquen a las personas.

Cómo identificar un algoritmo

Entonces, ¿el "algoritmo" de la Universidad de Stanford es un algoritmo? Pues depende de cómo se defina ese término. A pesar de que no existe una definición universalmente aceptada, la más común proviene de un libro de texto de 1971 escrito por el científico informático Harold Stone, quien afirma: "Un algoritmo es un conjunto de reglas que definen con precisión una secuencia de operaciones". Esta definición abarca una gran variedad de cosas, desde recetas de cocina hasta complejas redes neuronales: una política de control basada en esta definición sería demasiado amplia.

En estadística y aprendizaje automático, generalmente pensamos en un algoritmo como el conjunto de instrucciones que ejecuta un ordenador para aprender de los datos. En estos campos, la información estructurada resultante se suele denominar "modelo". La información que el ordenador aprende de los datos a través del algoritmo se puede considerar como el "peso" por el cual se multiplica cada factor de entrada, pero también podría ser mucho más complicado.

La complejidad del algoritmo en sí también puede variar. Y los impactos finales de estos algoritmos dependen de los datos a los que se aplican y del contexto en el que se implementa el modelo resultante. El mismo algoritmo podría tener un impacto neto positivo cuando se aplica en un contexto y un efecto muy diferente cuando se aplica a otro.

En otros campos, la descripción superior para modelo se denomina algoritmo. Aunque eso resulta confuso, bajo la definición más amplia también es cierto: los modelos son reglas (aprendidas por el algoritmo de entrenamiento del ordenador en vez de por instrucciones establecidas directamente por personas) que definen una secuencia de operaciones. Por ejemplo, el año pasado en Reino Unido, los medios de comunicación describieron el error de un "algoritmo" para asignar puntuación adecuada a los estudiantes que no pudieron presentarse a sus exámenes debido a la COVID-19. Sin duda, estos artículos se referían a modelos: el conjunto de instrucciones para traducir los datos (el desempeño anterior de un estudiante o la evaluación de su profesor) en resultados (una puntuación).

Lo que parece haber ocurrido en Stanford es que unas personas, junto con los especialistas en ética, se sentaron y determinaron qué serie de operaciones debería utilizar el sistema para decidir, a partir de datos como la edad y el departamento de un empleado, si esa persona debería estar entre las primeras de la lista para recibir una vacuna. Por lo que sabemos, esta secuencia no se basó en un procedimiento de estimación optimizado para algún objetivo cuantitativo. Se trataba de un conjunto de decisiones normativas sobre cómo se deberían priorizar las vacunas, formalizadas en el lenguaje de un algoritmo. En terminología médica y bajo la definición amplia este enfoque se describiría como un algoritmo, aunque la única inteligencia involucrada fue la de los seres humanos.

Centrarse en el impacto, no en los datos

Los legisladores también están evaluando qué es un algoritmo. En 2019, se introdujo en el Congreso de EE. UU. la Ley de Responsabilidad Algorítmica o HR2291, que utiliza el término "sistema automatizado de toma de decisiones" y lo define como "un proceso computacional, incluido el que se deriva del aprendizaje automático, estadísticas u otras técnicas de procesamiento de datos o inteligencia artificial, que toma una decisión o facilita la toma de decisiones por parte de las personas, que impacta a los consumidores".

De manera similar, la ciudad de Nueva York (EE. UU.) está considerando la ley Int 1894, que introduciría auditorías obligatorias para las "herramientas automatizadas de toma de decisiones sobre el empleo", las cuales define como "cualquier sistema cuya función se rija por la teoría estadística, o sistemas cuyos parámetros estén definidos por dichos sistemas". En concreto, aunque ambas leyes exigen auditorías, solo proporcionan pautas genéricas sobre qué es una auditoría.

A medida que los responsables de la toma de decisiones públicos y privados definen los estándares para las auditorías algorítmicas, es probable que haya discrepancias sobre lo que se considera como algoritmo. En vez de intentar acordar una definición común de "algoritmo" o una técnica de auditoría universal específica, sugerimos evaluar los sistemas automatizados en función de su impacto. Al centrarnos en los resultados en lugar de los datos, evitamos debates innecesarios sobre la complejidad técnica. Lo que importa es su potencial de causar daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.

El impacto es un factor crítico de evaluación en otros campos. Está integrado en el clásico marco  DREAD de ciberseguridad, popularizado por primera vez por Microsoft a principios de la década de 2000 y que todavía se usa en algunas corporaciones. La "A" en DREAD pide a los evaluadores de amenazas que cuantifiquen a los "usuarios afectados" preguntándose cuántas personas sufrirían el impacto de cada vulnerabilidad identificada.

Las evaluaciones de impacto también son comunes en los análisis de derechos humanos y sostenibilidad, y hemos visto a algunos de los primeros desarrolladores de evaluaciones de impacto de IA crear categorías similares. Por ejemplo, la Evaluación de impacto algorítmico de Canadá proporciona una puntuación basada en preguntas cualitativas como "¿Son los clientes de esta línea de negocio especialmente vulnerables? (sí o no)".

Lo que importa es su potencial de causar daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.

Está claro que existen dificultades para introducir en cualquier tipo de evaluación sobre un término tan vagamente definido como "impacto". El marco DREAD fue posteriormente complementado o sustituido por STRIDE, en parte debido a los desafíos para reconciliar puntos de vista diferentes sobre lo que implica el modelado de amenazas. Microsoft dejó de usar DREAD en 2008.

En el campo de la IA, conferencias y revistas especializadas ya han introducido declaraciones de impacto con diversos niveles de éxito y controversia. Cualquier enfoque está lejos de ser infalible: las evaluaciones de impacto puramente formulistas pueden burlarse fácilmente, mientras que una definición demasiado vaga puede dar lugar a evaluaciones arbitrarias o demasiado largas.

Aun así, se trata de un importante paso adelante. El término "algoritmo", independientemente de cómo se defina, no debería ser un escudo para absolver de responsabilidad por las consecuencias de su uso a las personas que diseñaron y desplegaron cualquier sistema. Esta es la razón por la que la gente exige la responsabilidad algorítmica cada vez más, y el concepto de impacto ofrece un conveniente terreno común para los diferentes grupos que trabajan para satisfacer esa demanda.

*Kristian Lum es profesora de investigación en el Departamento de Ciencias de la Información y la Computación de la Universidad de Pensilvania (EE. UU.) Rumman Chowdhury dirige el equipo de Ética, Transparencia y Responsabilidad de las Máquinas (META) en Twitter. Anteriormente, fue directora ejecutiva y fundadora de Parity, una plataforma de auditoría algorítmica y líder global de IA responsable en Accenture.