Esta historia forma parte del paquete El fin del ‘hype’ de la IA de MIT Technology Review, una serie que busca reajustar las expectativas sobre qué es la IA, qué permite y hacia dónde vamos. 

Cuando el auge de la IA generativa despegó en 2022, Rudi Miller y sus compañeros de la facultad de Derecho se llenaron de ansiedad. “Antes de graduarnos, se hablaba mucho de cómo sería el mercado laboral para nosotros si la IA se adoptaba”, recuerda.

Por eso, cuando llegó el momento de elegir especialidad, Miller (hoy socia junior en el despacho de abogados Orrick) decidió convertirse en litigante, el tipo de abogada que representa a clientes en los tribunales. Confiaba en que la sala de vistas sería el último escenario humano. “Los jueces todavía no han permitido que robots con ChatGPT argumenten en los juicios”, dice.

Tenía motivos para preocuparse. El apocalipsis laboral provocado por la inteligencia artificial parecía acercarse para los abogados. En marzo de 2023, investigadores informaron de que GPT-4 había superado con nota el examen uniforme de acceso a la abogacía. Ese mismo mes, un informe del sector predijo que el 44% del trabajo legal podría automatizarse. La industria de la tecnología legal entró en ebullición mientras los despachos de abogados empezaban a adoptar IA generativa para analizar montañas de documentos y redactar contratos, tareas que normalmente realizan los socios junior. El mes pasado, el despacho Clifford Chance recortó el 10% de su plantilla en Londres, citando el mayor uso de IA como una de las razones.

Pero, pese al hype, los grandes modelos de lenguaje (LLM) están muy lejos de pensar como abogados (y mucho menos de sustituirlos). Los modelos siguen inventando citas de casos, tienen dificultades para moverse en las zonas grises del derecho y razonar sobre cuestiones novedosas, y tropiezan cuando intentan sintetizar información dispersa entre leyes, reglamentos y sentencias. Además, hay razones institucionales para pensar que les costará reemplazar empleos legales. Aunque la IA está transformando el trabajo más rutinario de la profesión, el fin de los abogados no parece cercano.

El gran experimento

La industria legal se ha definido durante décadas por jornadas interminables y cargas de trabajo agotadoras, así que la promesa de una eficiencia sobrehumana resulta atractiva. Los despachos de abogados experimentan con herramientas generalistas como ChatGPT y Microsoft Copilot, y con soluciones especializadas como Harvey y CoCounsel de Thomson Reuters, mientras algunos desarrollan sus propios sistemas sobre modelos punteros. Organizan boot camps de IA y permiten que los asociados facturen cientos de horas dedicadas a la experimentación. En 2024, el 47,8% de los abogados en despachos con más de 500 letrados usaban IA, según la American Bar Association. Pero los abogados insisten en que los LLM están lejos de razonar lo suficiente como para sustituirlos.

Lucas Hale, asociado junior en McDermott Will & Schulte, ha adoptado la IA para muchas tareas rutinarias. Usa Relativity para cribar documentos extensos y Microsoft Copilot para redactar citas legales. Pero cuando recurre a ChatGPT para una cuestión compleja, el chatbot divaga, se sale del tema o no sabe qué responder.

“Cuando tenemos una pregunta muy específica o una cuestión inédita para el tribunal (es decir, un asunto que nunca se ha resuelto antes), ese tipo de razonamiento es algo que la herramienta no puede hacer”, explica.

Gran parte del trabajo de Lucas consiste en aplicar la ley de forma creativa a nuevos escenarios. “Ahora mismo, no creo que mucho del trabajo que hacemos los litigantes, al menos el que yo hago, pueda externalizarse a una herramienta de IA”, afirma.

Allison Douglis, asociada sénior en Jenner & Block, utiliza un LLM para iniciar su investigación legal. Pero las herramientas solo la llevan hasta cierto punto. “Cuando se trata de desarrollar y dar forma a un argumento como litigante, no creo que estén preparadas”, asegura. Ha visto cómo los modelos inventan citas y se enredan en áreas ambiguas del derecho.

“Hoy por hoy, prefiero trabajar con un socio junior que con una herramienta de IA”, añade. “A menos que mejoren de forma extraordinaria muy rápido, no imagino que eso cambie en el futuro cercano”.

Más allá del examen

La industria legal parecía lista para que la IA tomara el control desde que ChatGPT triunfó en el examen de acceso. Pero aprobar una prueba estandarizada no equivale a ejercer la abogacía. El examen mide si alguien puede memorizar normas y aplicarlas a situaciones hipotéticas, no si puede ejercer juicio estratégico en realidades complejas o elaborar argumentos en territorios jurídicos inexplorados. Y los modelos pueden entrenarse para superar benchmarks sin mejorar realmente su razonamiento.

Nuevos benchmarks intentan medir mejor la capacidad de los modelos para realizar trabajo legal en el mundo real. El Professional Reasoning Benchmark, publicado por ScaleAI en noviembre, evaluó a los principales LLM en tareas legales y financieras diseñadas por profesionales. El estudio reveló carencias críticas para su adopción profesional: el modelo con mejor rendimiento obtuvo solo un 37% en los problemas legales más difíciles, es decir, cumplió poco más de un tercio de los criterios de evaluación. Los modelos cometieron juicios erróneos y, cuando acertaron, lo hicieron con razonamientos incompletos u opacos.

“Las herramientas no están listas para sustituir a tu abogado”, afirma Afra Feyza Akyurek, autora principal del estudio. “Aunque mucha gente cree que los LLM tienen un buen dominio del derecho, todavía están rezagados”.

El informe se suma a otros que miden el desempeño de los modelos en trabajos económicamente valiosos. El AI Productivity Index, publicado por la firma de datos Mercor en septiembre y actualizado en diciembre, concluyó que los modelos presentan “limitaciones sustanciales” en tareas legales. El mejor puntuó un 77,9%, lo que significa que cumplió aproximadamente cuatro de cada cinco criterios. Un modelo con esa puntuación podría generar valor económico en algunas industrias, pero en campos donde los errores son costosos, quizá no sirva en absoluto.

Estos benchmarks son un avance para evaluar las capacidades reales de los LLM, pero aún no reflejan lo que hacen los abogados. “Aunque estas preguntas son más complejas que las de pruebas anteriores, no capturan del todo los asuntos subjetivos y extremadamente difíciles que los abogados afrontan en la práctica”, señala Jon Choi, profesor de Derecho en la Universidad de Washington (EE UU), que coescribió un estudio sobre pruebas legales en 2023.

A diferencia de las matemáticas o la programación, donde los LLM han progresado mucho, el razonamiento jurídico puede ser difícil de aprender para los modelos. El derecho aborda problemas reales, plagados de ambigüedad y subjetividad, que a menudo no tienen una respuesta correcta, explica Choi. Para complicarlo más, gran parte del trabajo legal no está registrado de forma útil para entrenar modelos. Y cuando lo está, los documentos pueden abarcar cientos de páginas dispersas entre leyes, reglamentos y sentencias en una jerarquía compleja.

Pero quizá la limitación más profunda sea que los LLM simplemente no están entrenados para pensar como abogados. “Los modelos de razonamiento aún no abordan los problemas como lo hacemos los humanos”, afirma Julian Nyarko, profesor de Derecho en Stanford (EE UU). Los modelos pueden carecer de una representación mental del mundo (la capacidad de simular un escenario y prever qué ocurrirá), y esa habilidad podría ser clave en el razonamiento jurídico complejo. Es posible que el paradigma actual de LLM entrenados para predecir la siguiente palabra solo nos lleve hasta cierto punto.

Los empleos siguen ahí

Pese a las señales iniciales de que la IA empieza a afectar a los trabajadores noveles, las estadísticas laborales aún no muestran que los abogados estén siendo desplazados. El 93,4% de los graduados en Derecho en 2024 estaba empleado 10 meses después de terminar sus estudios (la tasa más alta registrada), según la National Association for Law Placement. El número de graduados trabajando en despachos de abogados aumentó un 13% entre 2023 y 2024.

Por ahora, los despachos de abogados no tienen prisa por reducir sus plantillas. “No estamos recortando personal en este momento”, afirma Amy Ross, responsable de talento jurídico en el despacho Ropes & Gray.

Incluso mirando al futuro, los efectos podrían ser graduales. “Espero cierto impacto en el mercado laboral de la profesión legal, pero no será grande”, señala Mert Demirer, economista del MIT. “La IA va a ser muy útil para descubrir información y resumirla”, añade, pero para tareas jurídicas complejas “la baja tolerancia al riesgo en el derecho, sumada a las capacidades actuales de la IA, hará que ese caso sea menos automatizable por ahora”. Las capacidades pueden evolucionar con el tiempo, pero eso sigue siendo una incógnita.

No se trata solo de que los modelos no estén listos para sustituir a los abogados junior. Las barreras institucionales también condicionarán cómo se despliega la IA. Una mayor productividad reduce las horas facturables, lo que desafía el modelo de negocio dominante en los despachos de abogados. La responsabilidad legal pesa mucho, y los clientes pueden seguir queriendo a un humano como garante. Además, las regulaciones podrían limitar el uso de la tecnología.

Aun así, a medida que la IA asuma parte del trabajo de los asociados, los despachos quizá tengan que reinventar su sistema de formación. “Cuando el trabajo junior desaparece, hay que tener una forma más formal de enseñar, en lugar de confiar en que la práctica funcione”, advierte Ethan Mollick, profesor de gestión en la Wharton School de la Universidad de Pensilvania (EE UU).

Zach Couger, asociado junior en McDermott Will & Schulte, recurre a ChatGPT para revisar montones de contratos que antes examinaba a mano. No imagina volver a hacerlo él mismo, pero se pregunta qué se está perdiendo.

“Me preocupa no estar adquiriendo la misma experiencia repetitiva que tenían los abogados sénior”, dice, en referencia al entrenamiento constante que ha definido durante décadas los primeros años de la profesión. “Por otro lado, es muy cómodo tener un experto semiconocedor al que hacer preguntas, que no sea un socio ocupado”.

Aunque el apocalipsis laboral por la IA parece lejano, la incertidumbre le acompaña. Últimamente, Couger se queda despierto hasta tarde pensando si podría formar parte de la última generación de asociados en los grandes bufetes: “Puede que yo sea el último avión que despegue”.