Los sistemas de IA se implementan todo el tiempo, pero pueden pasar meses o incluso años hasta que quede claro si están sesgados y cómo.

A menudo, hay mucho en juego: los sistemas de IA injustos pueden provocar el arresto de personas inocentes y pueden negarles vivienda, empleo y servicios básicos .

Hoy, un grupo de expertos en inteligencia artificial y aprendizaje automático está lanzando una nueva competencia de recompensas por prejuicios , que esperan acelere el proceso de descubrir este tipo de prejuicios incrustados.

La competencia, que se inspira en las recompensas por errores en la ciberseguridad, invita a los participantes a crear herramientas para identificar y mitigar los sesgos algorítmicos en los modelos de IA.

Está siendo organizado por un grupo de voluntarios que trabajan en empresas como Twitter, la empresa de software Splunk y la empresa de detección de falsificaciones profundas Reality Defender. Se han autodenominado los "Bias Buccaneers".

La primera competencia de recompensas por sesgo se centrará en la detección de imágenes sesgadas . Es un problema común: en el pasado, por ejemplo, los sistemas defectuosos de detección de imágenes han identificado erróneamente a las personas negras comogorilas .

Los competidores tendrán el desafío de construir un modelo de aprendizaje automático que etiquete cada imagen con su tono de piel, género percibido y grupo de edad, lo que facilitará la medición y detección de sesgos en los conjuntos de datos. Tendrán acceso a un conjunto de datos de alrededor de 15.000 imágenes de rostros humanos generados sintéticamente. Los participantes se clasifican según la precisión con la que su modelo etiqueta las imágenes y el tiempo que tarda en ejecutarse el código, entre otras métricas. El concurso cierra el 30 de noviembre.

Microsoft y la startup Robust Intelligence han comprometido un premio en metálico de $6000 para el ganador, $4000 para el subcampeón y $2000 para el tercero. Amazon ha contribuido con $ 5,000 al primer grupo de participantes en potencia informática.

La competencia es un ejemplo de una industria en ciernes que está emergiendo en la IA: la auditoría del sesgo algorítmico. Twitter lanzó la primera recompensa por sesgo de IA el año pasado, y la Universidad de Stanford acaba de concluir su primer desafío de auditoría de IA . Mientras tanto, la organización sin fines de lucro Mozilla está creando herramientas para auditores de IA.

Es probable que estas auditorías se vuelvan cada vez más comunes. Los reguladores y los expertos en ética de la IA los han aclamado como una buena manera de hacer que los sistemas de IA rindan cuentas, y se convertirán en un requisito legal en ciertas jurisdicciones.

La nueva ley de moderación de contenido de la UE, la Ley de Servicios Digitales , incluye requisitos de auditoría anuales para los datos y algoritmos utilizados por las grandes plataformas tecnológicas, y la próxima Ley de IA de la UE también podría permitir a las autoridades auditar los sistemas de IA. El Instituto Nacional de Estándares y Tecnología de EE. UU. también recomienda las auditorías de IA como estándar de oro. La idea es que estas auditorías actúen como el tipo de inspecciones que vemos en otros sectores de alto riesgo, como las plantas químicas, dice Alex Engler, quien estudia la gobernanza de IA en el grupo de expertos Brookings Institution.

El problema es que no hay suficientes contratistas independientes para satisfacer la próxima demanda de auditorías algorítmicas, y las empresas son reacias a darles acceso a sus sistemas, argumenta la investigadora Deborah Raji, que se especializa en responsabilidad de IA, y sus coautores en un papel de junio pasado.

Eso es lo que estas competiciones quieren cultivar. La esperanza en la comunidad de IA es que guiarán a más ingenieros, investigadores y expertos a desarrollar las habilidades y la experiencia para llevar a cabo estas auditorías.

Gran parte del escrutinio limitado en el mundo de la IA hasta ahora proviene de académicos o de las propias empresas tecnológicas. El objetivo de concursos como este es crear un nuevo sector de expertos que se especialicen en auditar la IA.

“Estamos tratando de crear un tercer espacio para las personas que están interesadas en este tipo de trabajo, que quieren comenzar o que son expertos que no trabajan en empresas de tecnología”, dice Rumman Chowdhury, director del equipo de ética de Twitter. transparencia y responsabilidad en el aprendizaje automático, el líder de Bias Buccaneers. Estas personas podrían incluir piratas informáticos y científicos de datos que desean aprender una nueva habilidad, dice.

El equipo detrás de la competencia de recompensas de los Bias Buccaneers espera que sea la primera de muchas.

Competencias como esta no solo crean incentivos para que la comunidad de aprendizaje automático realice auditorías, sino que también promueven una comprensión compartida de "cómo auditar mejor y en qué tipos de auditorías deberíamos invertir", dice Sara Hooker, quien dirige Cohere para AI, un laboratorio de investigación de IA sin fines de lucro.

El esfuerzo es "fantástico y absolutamente muy necesario", dice Abhishek Gupta, fundador del Instituto de Ética de IA de Montreal, quien fue juez en el desafío de auditoría de IA de Stanford.

“Cuantos más ojos tenga en un sistema, más probable es que encontremos lugares donde hay fallas”, dice Gupta.