Hasta el 30% de la energía utilizada para entrenar la IA se desperdicia: una herramienta de software podría ayudar a solucionar este problema

Según un nuevo estudio de la Universidad de Michigan, una forma menos derrochadora de entrenar modelos de lenguaje grandes, como la serie GPT, finaliza en la misma cantidad de tiempo y consume hasta un 30% menos de energía.

El enfoque podría ahorrar suficiente energía para abastecer a 1,1 millones de hogares estadounidenses en 2026, según las proyecciones de Wells Fargo sobre la demanda de energía de la IA. También podría afectar la predicción del Fondo Monetario Internacional de que los centros de datos podrían representar el 1,2% de las emisiones de carbono del mundo para 2027, y las demandas de agua que conlleva ese uso de energía.

Algunos expertos dicen que estos costos podrían verse compensados ​​por los beneficios ambientales. Argumentan que la IA podría ser un «cambio de juego» en la lucha contra el cambio climático al identificar formas de optimizar las cadenas de suministro y la red, gestionar nuestras necesidades energéticas y mejorar la investigación sobre el cambio climático. Aún así, eso no es excusa para desperdiciar energía, y parte de la potencia utilizada para entrenar la IA no tiene ningún impacto en el tiempo de entrenamiento y la precisión del modelo.

«¿Por qué gastar algo cuando no tiene sentido?» dijo Mosharaf Chowdhury, profesor asociado de ciencias de la computación e ingeniería y autor correspondiente del estudio presentado en la 30º Simposio sobre principios de sistemas operativos lunes pasado.

«No podemos seguir construyendo centros de datos cada vez más grandes porque no tendremos el poder para ejecutarlos», afirmó Chowdhury. «Si podemos reducir la energía consumida por la IA, podemos reducir la huella de carbono y los requisitos de refrigeración de la IA y permitir una mayor computación que se ajuste a nuestras limitaciones energéticas actuales».

El desperdicio de energía se crea cuando el entrenamiento de IA se divide de manera desigual entre las GPU, que son procesadores de computadora especializados para aplicaciones de gráficos y datos de gran tamaño. Aunque abre la puerta al desperdicio, dividir el trabajo es necesario para procesar grandes conjuntos de datos.

«Los modelos de IA actuales son tan grandes que no pueden caber dentro de un solo procesador de computadora», dijo Jae-Won Chung, estudiante de doctorado en ciencias de la computación e ingeniería y primer autor del estudio. «Es necesario dividirlos en decenas de miles de procesadores para poder entrenarlos, pero dividir los modelos en tamaños perfectamente iguales entre todos los procesadores es prácticamente imposible».

Los trabajos de capacitación son muy difíciles de dividir equitativamente porque algunas tareas deben agruparse en el mismo procesador, como por ejemplo, cómo se agrupará cada entrega de una serie de libros en un estante organizado. Dependiendo de cómo se agrupen las tareas, algunos procesadores pueden quedarse atascados con el equivalente de entrenamiento de IA de la Enciclopedia Británica, mientras que a otros se les asigna una trilogía de fantasía.

Debido a que los métodos de entrenamiento actuales ejecutan cada procesador a máxima velocidad, los procesadores con una carga más ligera terminarán sus cálculos antes que otros procesadores. Esto no acelera el entrenamiento, que no se completa hasta que cada procesador termina su trabajo, pero es un desperdicio porque los cálculos más rápidos requieren más energía. Además, problemas como hardware defectuoso o retrasos en la red generan un desperdicio de energía al ralentizar la velocidad informática de un solo procesador.

Para ahorrar energía, los investigadores desarrollaron una herramienta de software llamado perseo que identifica una ruta crítica, o una serie de subtareas que tardarán más tiempo en completarse. Luego, Perseus ralentiza los procesadores que no están en la ruta crítica para que todos terminen su trabajo aproximadamente al mismo tiempo, eliminando el uso innecesario de energía.

«Reducir el costo de la energía de la IA puede tener implicaciones importantes para el acceso equitativo a la IA», dijo Chowdhury. «Si un país no tiene suficiente poder para ejecutar un modelo grande, es posible que necesite utilizar servicios lejanos o quedarse atrapado en modelos más pequeños y menos precisos. Esta brecha podría perpetuar aún más la disparidad entre diferentes comunidades».

El equipo probó Perseus entrenando GPT-3, otros tres modelos de lenguaje grandes y un modelo de visión por computadora.

Perseus es una herramienta de código abierto disponible como parte de Zeusuna herramienta para medir y optimizar el consumo de energía de la IA.