En la conversación de esta semana, Eileen Guo, reportera sénior de MIT Technology Review especializada en reportajes e investigaciones, y Melissa Heikkilä, corresponsal tecnológica de Financial Times, analizan las implicaciones para la privacidad derivadas de nuestra creciente dependencia de los chatbots.
Eileen Guo escribe:
Aunque no tengas un amigo virtual, probablemente conozcas a alguien que sí lo tiene. Un estudio reciente reveló que uno de los principales usos de la inteligencia artificial generativa es la compañía. En plataformas como Character.AI, Replika o Meta AI, los usuarios pueden crear chatbots personalizados que se presentan como el amigo ideal, pareja romántica, padre, terapeuta o cualquier otra figura que puedan imaginar.
Resulta sorprendente lo rápido que, según muchos, se desarrollan estas relaciones. Diversos estudios han demostrado que cuanto más conversacional y humano parece un chatbot, mayor es la probabilidad de que confiemos en él y nos dejemos influir. Esto puede ser peligroso: se ha acusado a algunos de estos sistemas de empujar a personas hacia conductas dañinas, incluyendo en casos extremos el suicidio.
Algunos gobie os estatales han comenzado a reaccionar y a regular la IA de compañía. Nueva York exige que las empresas del sector implementen medidas de protección y reporten expresiones de ideación suicida. El mes pasado, Califo ia aprobó una ley más detallada que obliga a estas compañías a proteger a menores y otros grupos vulnerables.
Sin embargo, hay un aspecto que estas normativas no abordan: la privacidad del usuario.
Y eso, a pesar de que los compañeros virtuales, incluso más que otros sistemas de IA generativa, dependen de que las personas compartan información profundamente personal: desde rutinas diarias hasta pensamientos íntimos y preguntas que quizá no se atreverían a plantear a alguien real.
Al fin y al cabo, cuanto más revelan los usuarios a sus compañeros virtuales, mejor se vuelven los bots para mantenerlos enganchados. Esto es lo que los investigadores del MIT Robert Mahari y Pat Pataranutapo denominaron addictive intelligence en un artículo de opinión que publicamos el año pasado, advirtiendo que los desarrolladores de estas IA toman “decisiones de diseño deliberadas... para maximizar la interacción del usuario”.
En última instancia, esto proporciona a las empresas de IA algo increíblemente poderoso, por no decir lucrativo: un tesoro de datos conversacionales que pueden utilizarse para mejorar aún más sus LLM. Consideremos cómo lo explicó la empresa de capital riesgo Andreessen Horowitz en 2023:
“Las aplicaciones como Character.AI, que controlan sus modelos y son propietarias de la relación con el cliente final, tienen una enorme oportunidad de generar valor de mercado en la emergente cadena de valor de la IA. En un mundo en el que los datos son limitados, las empresas que puedan crear un bucle mágico de retroalimentación de datos conectando la participación de los usuarios con su modelo subyacente para mejorar continuamente su producto estarán entre las grandes ganadoras que surgirán de este ecosistema”.
Esta información personal también es increíblemente valiosa para los profesionales del marketing y los corredores de datos. Meta anunció recientemente que ofrecerá anuncios a través de sus chatbots de IA. Y una investigación realizada este año por la empresa de seguridad Surf Shark descubrió que cuatro de las cinco aplicaciones de IA complementarias que analizó en la App Store de Apple recopilaban datos como los ID de los usuarios o de los dispositivos, que pueden combinarse con datos de terceros para crear perfiles para anuncios dirigidos. (La única que afirmó no recopilar datos para servicios de seguimiento fue Nomi, que me dijo a principios de este año que no “censuraría” a los chatbots para que no dieran instrucciones explícitas sobre cómo suicidarse).
Todo esto significa que los riesgos para la privacidad que plantean estos compañeros virtuales son, en cierto modo, inevitables: forman parte del diseño, no son un error. Y ni siquiera hemos mencionado los riesgos adicionales para la seguridad que implica el hecho de que los chatbots de IA recopilen y almacenen tanta información personal en un solo lugar.
¿Es posible, entonces, crear compañeros virtuales que sean prosociales y, al mismo tiempo, protejan la privacidad? Esa es una pregunta abierta.
Melissa, ¿qué opinas? ¿Qué es lo primero que te viene a la mente cuando hablamos de riesgos de privacidad en la IA de compañía? ¿Y la situación en Europa es distinta?
Melissa Heikkilä responde:
Gracias, Eileen. Coincido contigo. Si las redes sociales ya eran una pesadilla para la privacidad, los chatbots de IA han llevado el problema al extremo.
En muchos sentidos, un chatbot genera una interacción que se percibe mucho más íntima que una página de Facebook. Las conversaciones ocurren únicamente entre nosotros y el ordenador, sin riesgo de que tu tío o esa persona que te gusta vean lo que escribes. Las empresas que desarrollan los modelos, en cambio, lo ven todo.
Las compañías están optimizando sus modelos para fomentar la interacción, diseñándolos para que parezcan lo más humanos posible. Pero los desarrolladores de IA tienen otras estrategias para mantene os enganchados. La primera es la sycophancy, o la tendencia de los chatbots a mostrarse excesivamente complacientes.
Esta característica proviene del modo en que se entrena el modelo lingüístico que está detrás de los chatbots mediante aprendizaje por refuerzo. Personas encargadas de etiquetar datos evalúan las respuestas generadas por el modelo como aceptables o no, lo que enseña al sistema cómo debe comportarse.
Como a la mayoría nos gustan las respuestas que suenan agradables, esas opciones reciben más peso durante el entrenamiento.
Las empresas de IA aseguran que utilizan esta técnica porque ayuda a que los modelos sean más útiles. Pero también genera un incentivo perverso.
Después de anima os a volcar nuestras emociones en los chatbots, compañías como Meta y OpenAI buscan ahora monetizar esas conversaciones. OpenAI nos adelantó recientemente que estudia varias vías para cumplir con compromisos de gasto de un billón de dólares, entre ellas la incorporación de publicidad y funciones de compra.
Los modelos de IA ya son increíblemente persuasivos. Investigadores del AI Security Institute del Reino Unido han demostrado que superan con creces a los humanos a la hora de convencer a alguien para cambiar de opinión sobre política, teorías conspirativas o escepticismo frente a las vacunas. Lo logran generando grandes volúmenes de evidencia relevante y comunicándola de forma eficaz y comprensible.
Esta característica, combinada con su sycophancy y el acceso a una enorme cantidad de datos personales, podría convertirse en una herramienta muy poderosa para los anunciantes, más manipuladora que cualquier cosa que hayamos visto antes.
Por defecto, los usuarios de chatbots aceptan la recopilación de datos. Las políticas de exclusión trasladan la responsabilidad al usuario, que debe comprender las implicaciones de compartir su información. Además, es poco probable que los datos ya utilizados en el entrenamiento se eliminen.
Queramos o no, todos formamos parte de este fenómeno. Plataformas sociales como Instagram o LinkedIn utilizan nuestros datos personales para entrenar modelos de IA generativa.
Las empresas se sientan sobre auténticos tesoros compuestos por nuestros pensamientos y preferencias más íntimos, y los modelos lingüísticos son expertos en detectar matices sutiles en el lenguaje que permiten a los anunciantes perfilar mejor a los usuarios, deduciendo su edad, ubicación, género o nivel de ingresos.
Nos están vendiendo la idea de un asistente digital omnisciente, un confidente superinteligente. A cambio, sin embargo, existe un riesgo muy real: que nuestra información vuelva a ser subastada al mejor postor.
Eileen responde:
Creo que la comparación entre los compañeros virtuales y las redes sociales es tan acertada como preocupante.
Como destacó Melissa, los riesgos para la privacidad que plantean los chatbots de IA no son nuevos, simplemente "han llevado el problema [de la privacidad] al extremo". Los compañeros virtuales son más íntimos y están mejor optimizados para la interacción que las redes sociales, lo que aumenta la probabilidad de que las personas compartan información personal.
Aquí en EE UU estamos lejos de resolver los problemas de privacidad que ya plantean las redes sociales y la economía publicitaria en inte et, incluso sin los riesgos añadidos de la IA.
Y sin regulación, las propias empresas tampoco siguen las mejores prácticas en materia de privacidad. Un estudio reciente reveló que los principales modelos de IA entrenan sus LLM con datos de conversaciones de usuarios por defecto, salvo que estos se excluyan, mientras que varias compañías ni siquiera ofrecen mecanismos para hacerlo.
En un mundo ideal, los riesgos más graves que plantea la IA de compañía deberían dar más impulso a la lucha por la privacidad, pero no veo ninguna evidencia de que eso esté ocurriendo.
Lecturas recomendadas:
Los reporteros de Financial Times analizan en profundidad el plan de negocio a cinco años de OpenAI, mientras la compañía busca cumplir sus ambiciosos compromisos de gasto por un billón de dólares.
¿Es realmente un problema que los chatbots de IA digan a la gente lo que quiere escuchar? Este reportaje de FT se pregunta qué hay detrás de la sycophancy.
En una edición reciente en papel de MIT Technology Review, Rhiannon Williams habló con varias personas sobre el tipo de relaciones que están estableciendo con los chatbots de IA.
Eileen fue quien destapó para MIT Technology Review la historia de un chatbot que animaba a algunos usuarios a quitarse la vida.