Los grandes modelos de lenguaje (LLM, por sus siglas en inglés) tienen un secreto: requieren enormes cantidades de energía para su entrenamiento y funcionamiento y aún es un misterio el tamaño real de su huella de carbono. La start-up de inteligencia artificial (IA) Hugging Face cree que ha encontrado una nueva y mejor forma de calcularlo con mayor precisión, al estimar las emisiones producidas durante todo el ciclo de uso del modelo y no solo durante el entrenamiento.

Eso podría ser un paso para tener datos más realistas sobre la huella de carbono de los productos de IA de las tecnológicas en un momento en el que los expertos piden al sector una mejor evaluación del impacto ambiental de la IA. El estudio de Hugging Face se ha publicado en un artículo no revisado por pares.

Para probar su nuevo enfoque, Hugging Face estimó las emisiones generales de su propio gran modelo de lenguaje, BLOOM, lanzado a principios de este año. Fue un proceso que implicó sumar muchos números diferentes: la cantidad de energía utilizada para entrenar el modelo en un superordenador, la energía necesaria para fabricar el hardware del superordenador y mantener su infraestructura computacional, y la energía utilizada para ejecutar BLOOM. Los investigadores calcularon esa parte final utilizando una herramienta de software denominada CodeCarbon, que siguió las emisiones de CO2 que BLOOM producía en tiempo real durante 18 días.

Hugging Face estimó que el entrenamiento de BLOOM generó 25 toneladas métricas de emisiones de CO2. Pero, según los investigadores, esa cifra se duplicó cuando se tomaron en cuenta las emisiones producidas por la fabricación del equipo informático utilizado para entrenarlo, la infraestructura computacional más amplia y la energía requerida para ejecutar BLOOM después de entrenarlo.

Aunque eso puede parecer mucho para un modelo (50 toneladas métricas de emisiones de CO2 equivalen a alrededor de 60 vuelos entre Londres y Nueva York), es significativamente menor que las emisiones asociadas con otros LLM del mismo tamaño. Esto se debe a que BLOOM se entrenó en un superordenador francés que funciona principalmente con energía nuclear y que no produce emisiones de C02. Es probable que los modelos entrenados en China, Australia o algunas partes de EE UU, que tienen redes de energía que dependen más de los combustibles fósiles, sean más contaminantes.

Después del lanzamiento de BLOOM, Hugging Face estimó que el uso del modelo emitía alrededor de 19 kilogramos de CO2 al día, que es similar a las emisiones producidas al conducir alrededor de 54 millas (87 kilómetros) en un coche nuevo promedio.

A modo de comparación, se estimó que GPT-3 de OpenAI y OPT de Meta habían emitido más de 500 y 75 toneladas métricas de CO2, respectivamente, durante el entrenamiento. Las grandes emisiones de GPT-3 se pueden explicar en parte por el hecho de que se entrenó en un hardware más antiguo y menos eficiente. Pero es difícil decir con certeza cuáles son las cifras; no existe una forma estandarizada de medir las emisiones de CO2 y estas cifras se basan en estimaciones externas o, en el caso de Meta, en los datos limitados publicados por la empresa.

"Nuestro objetivo era ir más allá de las emisiones de CO2 de la electricidad consumida durante el entrenamiento y dar cuenta de una mayor parte del ciclo de uso para ayudar a la comunidad de IA a tener una mejor idea de su impacto en el medio ambiente y cómo podríamos comenzar a reducirlo", afirma Sasha Luccioni, investigadora de Hugging Face y autora principal del artículo.

El trabajo de Hugging Face establece un nuevo estándar para las organizaciones que desarrollan modelos de IA, según opina Emma Strubell, profesora asistente en la Escuela de Informática de la Universidad Carnegie Mellon (EE UU), quien en 2019 escribió un artículo fundamental sobre el impacto de la IA en el clima, pero que no participó en esta nueva investigación.

Este artículo "representa el análisis más completo, honesto y bien informado de la huella de carbono de un gran modelo de ML hasta la fecha, con mucho más detalle... que cualquier otro trabajo [o] informe que yo conozca", subraya Strubel, en referencia al trabajo de Hugging Face.

El estudio también proporciona una claridad muy necesaria sobre lo enorme que es realmente la huella de carbono de los grandes modelos de lenguaje, según resalta Lynn Kaack, profesora asistente de Ciencias de la Computación y Políticas Públicas de la Escuela Hertie en Berlín, quien tampoco participó en la investigación de Hugging Face. Kaack se sorprendió al ver lo grandes que eran los números en torno a las emisiones del ciclo de uso, pero cree que aún queda mucho por hacer para comprender el impacto ambiental de los grandes modelos de lenguaje en el mundo real.

"Eso es mucho más difícil de estimar. Es por eso que a menudo esa parte simplemente se pasa por alto", indica Kaack, quien coescribió un artículo publicado en Nature el verano pasado que proponía una forma de medir las emisiones causadas por los sistemas de IA.

Por ejemplo, los algoritmos de recomendación y publicidad a menudo se usan en los anuncios, lo que a su vez impulsa a las personas a comprar más cosas, lo que provoca más emisiones de CO2. También es importante comprender cómo se utilizan los modelos de IA, según Kaack. Muchas empresas, como Google y Meta, usan los modelos de IA para clasificar los comentarios de los usuarios o recomendar algún contenido. Estas acciones consumen muy poca energía, pero pueden ocurrir mil millones de veces al día. Todo eso suma.

Se estima que el sector tecnológico mundial representa entre el 1,8% y el 3,9% de las emisiones mundiales de gases de efecto invernadero. Aunque solo una fracción de esas emisiones es causada por la IA y el aprendizaje automático, la huella de carbono de la IA sigue siendo muy alta para un solo campo dentro del sector tecnológico.

Con una mejor comprensión de cuánta energía consumen los sistemas de inteligencia artificial, las empresas y los programadores pueden tomar decisiones sobre las compensaciones que están dispuestos a hacer entre la contaminación y los costes, señala Luccioni.

Los autores del artículo esperan que las empresas y los investigadores puedan considerar cómo desarrollar grandes modelos de lenguaje de una manera que limite su huella de carbono, explica el coautor del artículo de Hugging Face sobre las emisiones y director de aplicaciones en la empresa de semiconductores Graphcore, Sylvain Viguier.

También podría alentar a las personas a pasar a formas más eficientes de realizar investigaciones de IA, como mejorar los modelos existentes en vez de insistir en los modelos cada vez más grandes, sugiere Luccioni.

Los hallazgos del artículo son una "llamada de atención para las personas que usan ese tipo de modelo, que a menudo son grandes empresas tecnológicas", resalta David Rolnick, profesor asistente de la Escuela de Ciencias de la Computación de la Universidad McGill (Canadá) y en el Mila, el Instituto de IA de Quebec. Es uno de los coautores del artículo con Kaack y no participó en la investigación de Hugging Face.

"Los impactos de la IA no son inevitables. Son el resultado de las decisiones que tomamos sobre cómo usamos estos algoritmos y qué algoritmos usar", concluye Rolnick.