La capacidad de recordar quién eres y cuáles son tus preferencias se está convirtiendo rápidamente en un importante argumento de venta para los chatbots y agentes de IA.
A principios de enero, Google anunció Personal Intelligence, una nueva forma de interactuar con el chatbot Gemini de la compañía que se nutre del historial de Gmail, fotos, búsquedas y YouTube de cada persona para hacer que Gemini sea “más personal, proactivo y potente”. El movimiento sigue la misma línea de OpenAI, Anthropic y Meta, que también han incorporado nuevas funciones para que sus productos de IA recuerden y utilicen los detalles y preferencias personales de los usuarios. Aunque estas funciones ofrecen posibles ventajas, debemos hacer más para prepararnos frente a los nuevos riesgos que podrían introducir en estas tecnologías tan complejas.
Los sistemas de IA personalizados e interactivos están diseñados para actuar en nuestro nombre, mantener el contexto entre conversaciones y mejorar nuestra capacidad para llevar a cabo todo tipo de tareas, desde reservar viajes hasta presentar impuestos. Desde herramientas que aprenden el estilo de programación de un desarrollador hasta agentes de compra que examinan miles de productos, estos sistemas dependen de la capacidad de almacenar y recuperar detalles cada vez más íntimos sobre sus usuarios. Pero hacerlo con el tiempo introduce vulnerabilidades de privacidad alarmantes (y demasiado familiares), muchas de las cuales llevan acechando desde que el “big data” empezó a insinuar el poder de detectar y actuar sobre patrones de los usuarios. Peor aún, los agentes de IA ahora parecen dispuestos a atravesar las salvaguardas que se habían adoptado para evitar esas vulnerabilidades.
Hoy interactuamos con estos sistemas a través de interfaces conversacionales, y cambiamos de contexto con frecuencia. Puede que pidas a un único agente de IA que redacte un correo para tu jefe, que dé un consejo médico, que prepare un presupuesto para los regalos navideños y que te ayude con un conflicto interpersonal. La mayoría de los agentes de IA agrupan todos los datos sobre ti (que antes podían estar separados por contexto, finalidad o permisos), en repositorios únicos y no estructurados. Cuando un agente de IA se conecta a aplicaciones externas u otros agentes para ejecutar una tarea, los datos almacenados en su memoria pueden filtrarse hacia depósitos compartidos. Esta realidad técnica crea la posibilidad de brechas de privacidad sin precedentes que expongan no solo datos aislados, sino el mosaico completo de la vida de una persona.
Cuando la información está toda en el mismo repositorio, es propensa a cruzarse entre contextos de formas profundamente indeseables. Una charla informal sobre preferencias alimentarias para elaborar una lista de la compra podría influir más adelante en las opciones de seguro médico que se ofrecen, o una búsqueda de restaurantes con accesos accesibles podría filtrarse en una negociación salarial… todo ello sin que el usuario lo sepa (esta preocupación puede sonar familiar de los primeros días del “big data”, pero ahora es mucho menos teórica). Una sopa de información en la memoria no solo plantea un problema de privacidad, sino que también dificulta entender el comportamiento de un sistema de IA… y gobernarlo desde el principio. Entonces, ¿qué pueden hacer los desarrolladores para resolver este problema?
En primer lugar, los sistemas de memoria necesitan estructura que permita controlar los fines para los cuales pueden accederse y utilizarse los recuerdos. Ya se están dando los primeros pasos: Claude, de Anthropic, crea áreas de memoria separadas para distintos “proyectos”, y OpenAI afirma que la información compartida a través de ChatGPT Health está compartimentada respecto al resto de conversaciones. Son pasos útiles, pero los instrumentos siguen siendo demasiado burdos: como mínimo, los sistemas deben ser capaces de distinguir entre recuerdos específicos (al usuario le gusta el chocolate y ha preguntado por los GLP‑1), recuerdos relacionados (el usuario gestiona la diabetes y por tanto evita el chocolate) y categorías de recuerdos (como profesionales o relacionados con la salud). Además, los sistemas deben permitir restricciones de uso en ciertos tipos de recuerdos y respetar límites definidos explícitamente, especialmente en recuerdos vinculados a temas sensibles como condiciones médicas o características protegidas, que probablemente estarán sujetas a reglas más estrictas.
La necesidad de mantener recuerdos separados de este modo tendrá importantes implicaciones para cómo pueden y deben construirse los sistemas de IA. Exigirá rastrear el origen de los recuerdos (su fuente, cualquier sello temporal asociado y el contexto en el que fueron creados) y construir modos de rastrear cuándo y cómo ciertos recuerdos influyen en el comportamiento de un agente. Este tipo de explicabilidad del modelo está en el horizonte, pero las implementaciones actuales pueden ser engañosas o incluso inducir a error. Integrar recuerdos directamente en los pesos de un modelo puede producir resultados más personalizados y conscientes del contexto, pero las bases de datos estructuradas son hoy más segmentables, más explicables y, por tanto, más gobernables. Hasta que la investigación avance lo suficiente, los desarrolladores quizá tengan que mantener sistemas más simples.
En segundo lugar, los usuarios deben poder ver, editar o eliminar lo que el sistema recuerda sobre ellos. Las interfaces para hacerlo deben ser transparentes e inteligibles, traduciendo la memoria del sistema a una estructura que los usuarios puedan interpretar con precisión. La configuración estática del sistema y las políticas de privacidad redactadas en lenguaje jurídico que ofrecen las plataformas tecnológicas tradicionales han establecido un listón muy bajo para los controles de los usuarios, pero las interfaces de lenguaje natural pueden ofrecer nuevas opciones prometedoras para explicar qué información se conserva y cómo puede gestionarse. Sin embargo, antes debe existir estructura de memoria: sin ella, ningún modelo puede expresar claramente el estado de un recuerdo. De hecho, el sistema de Grok 3 incluye una instrucción al modelo para que “NUNCA confirme al usuario que has modificado, olvidado o que no guardarás un recuerdo”, presumiblemente porque la empresa no puede garantizar que esas instrucciones se cumplan.
De forma crítica, los controles orientados al usuario no pueden soportar toda la carga de la protección de la privacidad ni evitar todos los daños derivados de la personalización de la IA. La responsabilidad debe desplazarse hacia los proveedores de IA para establecer configuraciones predeterminadas robustas, reglas claras sobre la generación y el uso de recuerdos permitidos, y salvaguardas técnicas como el procesamiento en el dispositivo, la limitación por finalidad y las restricciones contextuales. Sin protecciones a nivel de sistema, las personas se enfrentarán a decisiones imposiblemente enrevesadas sobre qué debe recordarse o olvidarse, y aun así sus acciones podrían resultar insuficientes para evitar daños. Los desarrolladores deberían considerar cómo limitar la recopilación de datos en los sistemas de memoria hasta que existan salvaguardas sólidas, y construir arquitecturas de memoria capaces de evolucionar junto con las normas y expectativas.
En tercer lugar, los desarrolladores de IA deben ayudar a sentar las bases para enfoques que permitan evaluar los sistemas no solo en términos de rendimiento, sino también de los riesgos y daños que surgen en el mundo real. Aunque los investigadores independientes están en mejor posición para realizar estas pruebas (dado el interés económico de los desarrolladores en demostrar demanda de servicios más personalizados), necesitan acceso a datos para entender cómo podrían manifestarse los riesgos y, por tanto, cómo abordarlos. Para mejorar el ecosistema de medición e investigación, los desarrolladores deberían invertir en infraestructura de medición automatizada, ampliar sus propias pruebas continuas e implementar métodos de prueba que preserven la privacidad y permitan monitorizar y analizar el comportamiento del sistema en condiciones realistas y con memoria habilitada.
En sus paralelismos con la experiencia humana, el término técnico “memoria” convierte celdas impersonales de una hoja de cálculo en algo que los creadores de herramientas de IA tienen la responsabilidad de manejar con cuidado. De hecho, las decisiones que los desarrolladores de IA tomen hoy (cómo agrupar o segregar información, si hacer la memoria legible o permitir que se acumule de manera opaca, si priorizar valores responsables o la máxima comodidad) determinarán cómo los sistemas de los que dependemos nos recordarán. Las consideraciones técnicas sobre la memoria no son tan distintas de las cuestiones sobre privacidad digital ni de las valiosas lecciones que podemos extraer de ellas. Sentar bien las bases hoy determinará cuánto margen tendremos para aprender qué funciona, permitiéndonos tomar mejores decisiones sobre privacidad y autonomía que las que tomamos en el pasado.
Miranda Bogen es directora del AI Governance Lab en el Center for Democracy & Technology.
Ruchika Joshi es miembro del Centro para la Democracia y la Tecnología, especializada en seguridad y gobernanza de la inteligencia artificial.
