Este reto está desplazando el foco de atención de la seguridad de la IA desde el ámbito académico hasta situarla en el punto de mira de los reguladores.
Esto lleva tiempo gestándose. Dos demandas de gran repercusión presentadas el año pasado contra Character.AI y OpenAI alegan que el comportamiento similar al de un compañero en sus modelos contribuyó al suicidio de dos adolescentes. Un estudio publicado en julio por la organización sin ánimo de lucro estadounidense Common Sense Media reveló que el 72 % de los adolescentes ha utilizado la IA como compañía. Las historias publicadas en medios de comunicación de prestigio sobre la «psicosis de la IA» han puesto de relieve cómo las conversaciones interminables con los chatbots pueden llevar a las personas a espirales delirantes.
Es difícil exagerar el impacto de estas historias. Para el público, son la prueba de que la IA no solo es imperfecta, sino que es una tecnología más perjudicial que útil. Si había dudas sobre si los reguladores y las empresas se estaban tomando en serio esta indignación, esta semana han ocurrido tres cosas que podrían hacer cambiar de opinión.
Una ley de Califo ia es aprobada por el poder legislativo
El jueves, el poder legislativo del estado de Califo ia aprobó un proyecto de ley pionero en su género. Este exige a las empresas de IA incluir recordatorios para los usuarios que saben que son menores de edad, indicando que las respuestas son generadas por IA. Las empresas también deben contar con un protocolo para abordar el suicidio y las autolesiones, y proporcionar informes anuales sobre los casos de ideas suicidas surgidos en las conversaciones de los usuarios con sus chatbots. La iniciativa fue liderada por el senador demócrata Steve Padilla, aprobada con un fuerte apoyo bipartidista, y ahora espera la firma del gobe ador Gavin Newsom.
Hay motivos para mostrarse escéptico sobre el impacto de la ley. No especifica las medidas que deben tomar las empresas para identificar a los usuarios menores de edad, y muchas empresas de IA ya incluyen referencias a servicios de ayuda en caso de crisis cuando alguien habla de suicidio. En el caso de Adam Raine, uno de los adolescentes cuyos familiares han presentado una demanda, sus conversaciones con ChatGPT antes de su muerte incluían este tipo de información, pero al parecer, el chatbot siguió ofreciéndole consejos relacionados con el suicidio.
Aun así, sin duda es el esfuerzo más significativo para frenar los comportamientos similares a los de un compañero en los modelos de IA, que también se están desarrollando en otros estados. Si el proyecto de ley se convierte en ley, supondría un duro golpe para la postura que ha adoptado OpenAI, que es que «Estados Unidos lidera mejor con normas claras a nivel nacional, no con un mosaico de regulaciones estatales o locales», como escribió el director de asuntos globales de la empresa, Chris Lehane, en LinkedIn la semana pasada.
La Comisión Federal de Comercio entra en juego
Ese mismo día, la Comisión Federal de Comercio (FTC por sus siglas en inglés) anunció una investigación sobre siete empresas, con el fin de recabar información sobre cómo desarrollan personajes similares a compañeros, monetizan la interacción y miden y prueban el impacto de sus chatbots, entre otras cuestiones. Las empresas son Google, Instagram, Meta, OpenAI, Snap, X y Character Technologies, el fabricante de Character.AI.
La Casa Blanca ejerce ahora una influencia política inmensa, y potencialmente ilegal, sobre la FTC. En marzo, el presidente Trump despidió a su única comisionada demócrata, Rebecca Slaughter. En julio, un juez federal dictaminó que el despido era ilegal , pero la semana pasada el Tribunal Supremo de los Estados Unidos permitió temporalmente el despido.
«Proteger a los niños en Inte et es una prioridad máxima para la FTC de Trump-Vance, al igual que fomentar la innovación en sectores críticos de nuestra economía», afirmó el presidente de la FTC, Andrew Ferguson, en un comunicado de prensa sobre la investigación.
Por ahora, solo se trata de una investigación, pero el proceso podría, dependiendo de cuán públicos sean los hallazgos de la FTC, revelar el funcionamiento inte o de cómo las empresas crean sus compañeros de IA para que los usuarios continúen volviendo una y otra vez.
Sam Altman sobre los casos de suicidio
Ese mismo día (un día ajetreado para las noticias sobre IA), Tucker Carlson publicó una entrevista de una hora con el director ejecutivo de OpenAI, Sam Altman. En ella se tratan muchos temas: la batalla de Altman con Elon Musk, los clientes militares de OpenAI o las teorías conspirativas sobre la muerte de un antiguo empleado. Pero también incluye los comentarios más sinceros que Altman ha hecho hasta ahora sobre los casos de suicidio tras conversaciones con la IA.
Altman habló de «la tensión entre la libertad y la privacidad de los usuarios y la protección de los usuarios vulnerables» en casos como estos. Pero luego dijo algo que yo no había oído antes.
«Creo que sería muy razonable decir que, en los casos en que los jóvenes hablan seriamente de suicidio y no podemos pone os en contacto con los padres, hiciésemos una llamada a las autoridades», dijo . «Eso sería un cambio».
Entonces, ¿qué pasará ahora? Por ahora, está claro que, al menos en el caso de los niños perjudicados por los compañeros de IA, la estrategia habitual de las empresas no funcionará. Ya no pueden eludir su responsabilidad apelando a la privacidad, la personalización o la «elección del usuario». La presión para adoptar una postura más dura está aumentando por parte de las leyes estatales, los reguladores y un público indignado.
Pero, ¿cómo será eso? Políticamente, tanto la izquierda como la derecha están prestando atención al daño que la IA causa a los niños, pero sus soluciones difieren. En la derecha, la solución propuesta se alinea con la ola de leyes de verificación de edad en Inte et que ya se han aprobado en más de 20 estados. Estas leyes tienen como objetivo proteger a los niños del contenido para adultos y defender los «valores de la familia». En la izquierda, tratan de reavivar la ambición frustrada de hacer responsables a las grandes tecnológicas mediante medidas antimonopolio y de protección del consumidor.
Es más fácil llegar a un consenso sobre el problema que ponerse de acuerdo sobre la solución. Tal y como están las cosas, parece probable que acabemos con el mosaico de regulaciones estatales y locales contra el que OpenAI (y muchos otros) han presionado.
Por ahora, son las empresas las que deben decidir dónde trazar la línea. Tienen que decidir cuestiones como: ¿deben los chatbots interrumpir las conversaciones cuando los usuarios caen en una espiral de autolesiones, o eso empeoraría la situación de algunas personas? ¿Deberían tener licencia y estar regulados como los terapeutas, o tratarse como productos de entretenimiento con advertencias? La incertidumbre se deriva de una contradicción básica: las empresas han creado chatbots para que actúen como seres humanos que se preocupan por los demás, pero han pospuesto el desarrollo de las normas y la responsabilidad que exigimos a los cuidadores reales. El tiempo se está agotando.