Los investigadores especializados en el aprendizaje automático toman muchas decisiones al diseñar sus nuevos modelos, como cuántas capas incluir en las redes neuronales y qué peso dar a los inputs en cada nodo. El resultado de toda esta toma de decisiones humana es que esos modelos tan complejos terminan siendo "diseñados por intuición", en vez de sistemáticamente, según explica Frank Hutter, jefe del laboratorio de aprendizaje automático de la Universidad de Freiburg en Alemania.

Un campo en crecimiento denominado aprendizaje automático automatizado, o autoML, tiene como objetivo eliminar las conjeturas. La idea consiste en que los algoritmos se hagan cargo de las decisiones que los investigadores actualmente tienen que tomar al diseñar los modelos. Al final, estas técnicas podrían facilitar el aprendizaje automático.

Aunque el aprendizaje automático automatizado existe desde hace casi una década, los investigadores todavía trabajan para perfeccionarlo. La semana pasada tuvo lugar una nueva conferencia en Baltimore (EE UU), descrita por sus organizadores como la primera sobre este tema a nivel internacional, en la que se mostraron los esfuerzos para mejorar la precisión del autoML y optimizar su rendimiento.

Ha habido un gran interés en el potencial del machine learning automatizado (autoML) para simplificar el aprendizaje automático. Algunas empresas, como Amazon y Google, ya ofrecen herramientas de aprendizaje automático de código simplificado que aprovechan las técnicas del autoML. Si estas técnicas se vuelven más eficientes, podría acelerarse la investigación y facilitaría que más gente lo use.

La idea es llegar a un punto en el que alguien pueda plantear la pregunta que quiera a una herramienta de autoML y obtener el resultado que busca.

Esa visión es el "santo grial de la informática", según el organizador de la conferencia y profesor asistente de informática en la Universidad de Wyoming (EE UU), Lars Kotthoff. "Se especifica el problema y el ordenador descubre cómo resolverlo, y eso es todo".

Pero primero, los investigadores tendrán que descubrir cómo volver estas técnicas más eficientes en tiempo y energía.

¿Qué es el autoML?

A primera vista, el concepto de machine learning automatizado (autoML) puede parecer redundante; al fin y al cabo, el aprendizaje automático ya tiene que ver con automatizar el proceso de obtener información de los datos. Pero debido a que los algoritmos autoML operan a un nivel de abstracción por encima de los modelos de aprendizaje automático subyacentes, confiando solo en los resultados de esos modelos como guías, pueden ahorrar el tiempo y cómputo. Los investigadores pueden aplicar técnicas de autoML a los modelos previamente entrenados para obtener nuevos conocimientos sin desperdiciar el poder de cómputo repitiendo la investigación existente.

Por ejemplo, el científico investigador Mehdi Bahrami y sus coautores de Fujitsu Research of America presentaron un trabajo reciente sobre cómo usar el algoritmo BERT-sort con diferentes modelos previamente entrenados para adaptarlos a nuevos propósitos. BERT-sort es un algoritmo que puede descubrir lo que se conoce como "orden semántico" cuando se entrena en conjuntos de datos. Con los datos sobre las reseñas de películas, por ejemplo, sabe que las películas "excelentes" tienen una clasificación más alta que las películas "buenas" y "malas".

Con las técnicas de autoML, el orden semántico aprendido también se puede extrapolar para clasificar otras cosas como diagnósticos de cáncer o incluso texto en coreano, lo que reduce el tiempo y los cálculos.

"BERT necesita meses de cómputo y es muy costoso, en torno a un millón de dólares para generar el modelo y repetir los procesos. Así que, si todos quieren hacer lo mismo, será demasiado costoso, no será energéticamente eficiente y no será bueno para el mundo", señala Bahrami. 

Aunque el campo parece prometedor, los investigadores todavía buscan las formas de que las técnicas de autoML sean más eficientes desde el punto de vista computacional. Por ejemplo, algunos métodos como la búsqueda de arquitectura neuronal actualmente construyen y prueban muchos modelos diferentes para encontrar el que mejor se ajuste, y la energía que se necesita para completar todas esas iteraciones puede ser significativa.

Las técnicas de AutoML también se pueden aplicar a los algoritmos de aprendizaje automático que no involucran las redes neuronales, como la creación de decisiones aleatorias o máquinas de vectores de soporte para clasificar datos. La investigación en esas áreas está más avanzada, con muchas bibliotecas de codificación ya disponibles para las personas que desean incorporar técnicas de autoML en sus proyectos.

El siguiente paso es usar autoML para cuantificar la incertidumbre y abordar cuestiones de fiabilidad y equidad en los algoritmos, indica Hutter, el organizador de la conferencia. En esa visión, los estándares en torno a la fiabilidad y la equidad serían similares a cualquier otra restricción del aprendizaje automático, como la precisión. Y autoML podría captar y corregir automáticamente los sesgos encontrados en esos algoritmos antes de su publicación.

La búsqueda continúa

Pero para algo como el aprendizaje profundo, el autoML aún tiene un largo camino por recorrer. Los datos utilizados para entrenar los modelos de aprendizaje profundo, como imágenes, documentos y voz grabada, suelen ser densos y complicados. Se necesita un inmenso poder computacional para manejarlos. El coste y el tiempo para entrenar estos modelos pueden ser prohibitivos para alguien que no sea investigador en empresas privadas con mucho dinero.

Uno de los concursos de la conferencia pidió a los participantes que desarrollaran algoritmos alternativos energéticamente eficientes para la búsqueda de arquitectura neuronal. Se trata de un desafío considerable porque esta técnica tiene demandas computacionales ingentes. Recorre automáticamente innumerables modelos de aprendizaje profundo para ayudar a los investigadores a elegir el adecuado para su aplicación, pero el proceso puede llevar meses y costar más de un millón de euros.

El objetivo de estos algoritmos alternativos, denominados aproximaciones de búsqueda de arquitectura neuronal de coste cero, consiste en que la búsqueda de arquitectura neuronal sea más accesible y respetuosa con el medio ambiente al reducir significativamente su apetito por la computación. El resultado tarda solo unos segundos, en vez de meses. Estas técnicas aún se encuentran en las primeras etapas de desarrollo y a menudo no son fiables, pero los investigadores de aprendizaje automático predicen que tienen el potencial de hacer que el proceso de selección de modelos sea mucho más eficiente.