Las alucinaciones de la IA aparecen cada vez más en los expedientes judiciales. Y está empezando a enfurecer a los jueces. Basta con considerar estos tres casos, cada uno de los cuales da una idea de lo que podemos esperar ver a medida que los abogados adoptan la IA.
Hace unas semanas, un juez de Califo ia, Michael Wilner, quedó intrigado por una serie de argumentos que algunos abogados presentaron en un escrito. Fue a informarse sobre esos argumentos siguiendo los artículos que citaban. Pero los artículos no existían. Pidió más detalles al bufete de abogados, que respondió con un nuevo escrito que contenía aún más errores que el primero. Wilner ordenó a los abogados que prestaran declaración jurada explicando los errores, en la que se enteró de que uno de ellos, del bufete de élite Ellis George, utilizó Google Gemini, así como modelos de IA específicos de derecho, para ayudar a redactar el documento, lo que generó información falsa. Según se detalla en un escrito presentado el 6 de mayo, el juez impuso al bufete una multa de 31.000 dólares.
La semana pasada, otro juez de Califo ia descubrió otra alucinación en una presentación judicial, esta vez presentada por la empresa de IA Anthropic en la demanda que las discográficas han interpuesto contra ella por cuestiones de derechos de autor. Uno de los abogados de Anthropic había pedido a Claude, el modelo de IA de la empresa, que creara una cita para un artículo jurídico, pero Claude incluyó el título y el autor equivocados. El abogado de Anthropic admitió que el error no fue detectado por nadie que revisara el documento.
Por último, y quizá lo más preocupante, es un caso que se está desarrollando en Israel. Después de que la policía detuviera a un individuo acusado de blanqueo de dinero, los fiscales israelíes presentaron una solicitud pidiendo permiso al juez para conservar el teléfono del individuo como prueba. Pero citaron leyes que no existen, lo que llevó al abogado del acusado a acusarles de incluir alucinaciones de AI en su petición. Los fiscales, según los medios de comunicación israelíes, admitieron que ese era el caso, recibiendo una reprimenda del juez.
En conjunto, estos casos apuntan a un grave problema. Los tribunales confían en que los documentos sean precisos y estén respaldados por citas, dos características que los modelos de IA, a pesar de ser adoptados por abogados deseosos de ahorrar tiempo, a menudo no consiguen ofrecer.
Esos errores se están detectando (por ahora), pero no es descabellado imaginar que, en algún momento dentro de poco, la decisión de un juez se verá influida por algo totalmente inventado por la IA, y nadie lo detectará.
Hablé con Maura Grossman, profesora de la Facultad de Informática de la Universidad de Waterloo y de la Facultad de Derecho Osgoode Hall, que ha sido una de las primeras en criticar los problemas que la IA generativa plantea a los tribunales. Escribió sobre el problema en 2023, cuando empezaron a aparecer los primeros casos de alucinaciones. Dijo que pensaba que las normas vigentes que obligan a los abogados a examinar lo que presentan a los tribunales, combinadas con la mala publicidad que atrajeron esos casos, pondrían fin al problema. Pero no ha sido así.
Las alucinaciones "no parecen haber disminuido", dice. "En todo caso, se han acelerado". Y no se trata de casos puntuales con oscuros bufetes locales, dice. Se trata de grandes abogados que cometen errores significativos y embarazosos con la IA. Le preocupa que esos errores también estén apareciendo cada vez más en documentos no escritos por los propios abogados, como los informes periciales (en diciembre, un profesor de Stanford y experto en IA admitió haber incluido errores generados por IA en su testimonio).
Le dije a Grossman que todo esto me parecía un poco sorprendente. Los abogados, más que la mayoría, están obsesionados con la dicción. Eligen sus palabras con precisión. ¿Por qué se descubre a tantos cometiendo estos errores?
"Los abogados se dividen en dos bandos", dice. "Los primeros están muertos de miedo y no quieren usarlo en absoluto". Pero también están los pioneros. Se trata de abogados con poco tiempo o sin un grupo de otros abogados que les ayuden con un escrito. Están ávidos de tecnología que les ayude a redactar documentos con plazos ajustados. Y sus comprobaciones del trabajo de la IA no siempre son minuciosas.
El hecho de que abogados de alto nivel, cuya profesión consiste precisamente en examinar el lenguaje, sigan cometiendo errores introducidos por la IA dice algo sobre el trato que la mayoría de nosotros damos actualmente a esta tecnología. Se nos repite que la IA comete errores, pero los modelos lingüísticos también parecen mágicos. Formulamos una pregunta complicada y recibimos lo que parece una respuesta reflexiva e inteligente. Con el tiempo, los modelos de IA desarrollan un ba iz de autoridad. Confiamos en ellos.
"Damos por sentado que la fluidez de estos grandes modelos lingüísticos significa que son precisos", afirma Grossman. "Todos caemos en esa confianza porque suena autoritario". Los abogados están acostumbrados a comprobar el trabajo de abogados junior y becarios, pero por alguna razón, dice Grossman, no aplican este escepticismo a la IA.
Conocemos este problema desde que se lanzó ChatGPT hace casi tres años, pero la solución recomendada no ha evolucionado mucho desde entonces: no te fíes de todo lo que leas e investiga lo que te diga un modelo de IA. A medida que los modelos de IA se van incorporando a las distintas herramientas que utilizamos, cada vez me parece menos satisfactoria la respuesta a uno de los principales defectos de la IA.
Las alucinaciones son inherentes al funcionamiento de los grandes modelos lingüísticos. A pesar de ello, hay empresas que venden herramientas de IA generativa para abogados que afirman ser fiablemente precisas. "Siéntase seguro de que su investigación es precisa y completa", reza el sitio web para Westlaw Precision, y el sitio web para CoCounsel promete que su IA está "respaldada por contenido fidedigno". Eso no impidió que su cliente, Ellis George, fuera multado con 31.000 dólares.
Cada vez siento más simpatía por las personas que confían en la IA más de lo que deberían. Al fin y al cabo, vivimos en una época en la que las personas que construyen esta tecnología nos dicen que la IA es tan poderosa que debería ser tratada como un arma nuclear. Los modelos han aprendido de casi todas las palabras que la humanidad ha escrito y se están infiltrando en nuestra vida en línea. Si la gente no debería fiarse de todo lo que dicen los modelos de IA, probablemente merezcan que las empresas que los construyen se lo recuerden un poco más a menudo.