Para demostrarlo, repasó el historial de este campo: muchos de los algoritmos que utilizamos hoy en día existen desde la década de 1980, y el avance en el uso de grandes cantidades de datos etiquetados para entrenar redes neuronales se produjo a principios de la década de 2000. Pero no fue hasta principios de la década de 2010, cuando las unidades de procesamiento de gráficos (GPU, por sus siglas en inglés), entraron en escena, cuando la revolución de aprendizaje profundo empezó de verdad. Dally enfatizó: "Tenemos que seguir ofreciendo un hardware más capaz, o el progreso de la IA se frenará", resaltó Dally.
nNvidia está explorando tres caminos para abordar este reto. Por un lado, está creando chips más especializados; por otro, está reduciendo los cálculos necesarios para ejecutar el aprendizaje profundo. Y, por último, está experimentando con chips analógicos en lugar de digitales digitales.
nNvidia ha descubierto que los chips altamente especializados diseñados para una tarea específica pueden superar a los GPU, que resultan ideales para abordar muchos tipos de computación distintos. La diferencia, según Dally, podría equivaler a un aumento del 20 % en la eficiencia para el mismo nivel de rendimiento.
nDally también hizo referencia a un estudio de la empresa en el que analizó el potencial de "pruning" (que significa recorte o poda). Este enfoque consiste en reducir la cantidad de cálculos durante el entrenamiento sin sacrificar la precisión del modelo de aprendizaje profundo. Los investigadores descubrieron que podían omitir alrededor del 90 % de los cálculos y mantener la misma precisión de aprendizaje. Esto significa que se pueden llevar a cabo las mismas tareas de aprendizaje con chips mucho más pequeños.
nAdemás, Dally mencionó que Nvidia ha empezado a probar la computación analógica. Los ordenadores almacenan casi toda la información, incluidos los números, como series de ceros y unos. Pero la computación analógica permitiría codificar directamente todo tipo de valores, como 0,3 o 0,7 por ejemplo. Eso permitiría que los cálculos fueran mucho más eficientes, ya que los números se podrían representar de manera más concisa. No obstante, Dally afirmó que su equipo aún no está seguro de cómo encajar lo analógico en el futuro del diseño de los chips.
nEl vicepresidente corporativo y director general de AI Products Group de Intel, Naveen Rao, también subió al escenario. Comparó la importancia de la evolución del hardware de IA con el papel que la evolución tuvo en la biología. El responsable explicó que la escala de tiempo evolutiva de ratas y humanos difiere en unos cientos de millones de años. Pero, a pesar de nuestras capacidades altamente mejoradas, los humanos tenemos las mismas unidades computacionales fundamentales que nuestros homólogos roedores.
nEl mismo principio es válido cuando se trata del diseños de los chips, afirmó Rao. Cualquier chip, ya sea especializado o versátil, digital o analógico, óptico u otro, es simplemente un sustrato para codificar y manipular la información. La diferencia entre las capacidades de una rata y de un humano depende de cómo está diseñado ese sustrato.
nPara él, los insectos, como las ratas, también se construyen con las mismas unidades fundamentales que los humanos. Pero los insectos tienen construcciones fijas, mientras que los humanos tienen otras más flexibles. Rao destacó que ninguno es superior al otro, simplemente evolucionaron para adaptarse a diferentes propósitos. Los insectos probablemente sobrevivirían a una guerra nuclear, mientras que los humanos tienen capacidades mucho más sofisticadas.
nEsos principios son aplicables al diseño de chips. A medida que más dispositivos inteligentes se conectan a inte et, no siempre tendrá sentido enviar sus datos a la nube para procesarlos a través de un modelo de aprendizaje profundo. En cambio, sí podría resultar útil ejecutar un pequeño y eficiente modelo de aprendizaje profundo en el propio dispositivo. Esta idea, conocida como "AI on the edge" (o IA en el límite), podría beneficiarse de los chips especializados, que son más eficientes. Los centros de datos que alimentan la "IA en la nube", por otro lado, trabajarían con chips versátiles y programables, para poder manejar un espectro mucho más amplio de tareas de aprendizaje.
nRao señaló que, independientemente de los diseños de chips que Intel y Nvidia decidan seguir, tendrán un efecto importante en la evolución de la IA. A lo largo de la historia, cada civilización evolucionó de forma muy distinta debido a los materiales únicos que tenía a su disposición. Del mismo modo, las operaciones que permitan los futuros diseños de Intel y Nvidia influirán mucho en los tipos de tareas de aprendizaje que la comunidad de IA decida desarrollar.
nRao concluyó: "Nos encontramos en una rápida explosión cámbrica [para la creación de chips], y no todas las soluciones van a ganar".
n