Preguntas y respuestas: cómo hacer que la informática sea más sostenible

Pídale a su computadora o teléfono que traduzca una oración del inglés al italiano. No hay problema, ¿verdad? Pero esta tarea no es tan fácil como parece. El software detrás de su pantalla tuvo que aprender a procesar cientos de miles de millones de parámetros o tareas antes de mostrar la palabra correcta, y hacer esas tareas requiere energía.

Ahora, los investigadores del Laboratorio Nacional de Aceleradores SLAC del Departamento de Energía y otras instituciones públicas y privadas están buscando formas de suministrar menos energía a los sistemas de software y hardware sin dejar de realizar tareas cotidianas, como la traducción de idiomas, así como resolver soluciones cada vez más difíciles pero socialmente complejas. problemas importantes como el desarrollo de nuevos medicamentos contra el cáncer, vacunas COVID-19 y automóviles autónomos.

Este esfuerzo informático en SLAC es parte de una iniciativa nacional más grande del DOE, dirigida por la Oficina de Tecnologías de Manufactura y Materiales Avanzados, llamada The Energy Efficiency Scaling for 2 Decades (EES2) que se anunció en septiembre de 2022. La iniciativa también involucra a varios laboratorios nacionales como líderes de la industria, y se centrará en aumentar la eficiencia energética de los semiconductores en un factor de 1000 durante las próximas dos décadas, dice la iniciativa. Para 2030, los semiconductores podrían usar casi el 20 por ciento de la energía mundial, lo que significa que mejorar la eficiencia de este sector es esencial para ayudar a hacer crecer la economía y enfrentar la crisis climática, dice la iniciativa.

Sobre el papel, adaptar los modelos de software para reducir su uso de energía es simple: solo incluya una nueva variable de diseño que tenga en cuenta los requisitos de energía de un modelo al diseñar su algoritmo, dijo Sadasivan Shankar, gerente de tecnología de investigación en SLAC y profesor adjunto en la Universidad de Stanford. . Sin embargo, muchos modelos de software, como los que se basan en el aprendizaje automático, carecen de esta variable de diseño energético. En cambio, a menudo se construyen con el rendimiento, no la eficiencia, como su fuerza motriz, dijo.

En esta sesión de preguntas y respuestas, Shankar explica cómo los proyectos de su equipo en SLAC intentarán mejorar la eficiencia energética de la informática en el futuro.

La informática es un campo grande y amplio. ¿Qué partes está abordando su equipo?

Actualmente estamos analizando tres partes principales de la informática: algoritmos, arquitectura y hardware. Para los algoritmos, estudiaremos cómo reducir la energía requerida por los algoritmos y modelos de aprendizaje automático. Una forma de mejorar la eficiencia energética de estos modelos es utilizar algoritmos personalizados, que calculan tareas específicas para cada aplicación única, mientras que los algoritmos más generales se diseñan y aplican para completar una variedad de tareas.

La segunda parte que estamos analizando es cómo diseñar juntos la arquitectura de software y sus algoritmos, lo que se denomina «codiseño», en lugar de diseñarlos independientemente uno del otro. Si estos componentes están codiseñados, deberían necesitar menos energía para funcionar. Y tercero, estamos analizando el nivel fundamental de materiales, dispositivos e interconexiones que generan menos calor.

Para abordar estas tres áreas, vamos a observar las eficiencias en la naturaleza, como la forma en que nuestro cerebro y las células moleculares realizan tareas, y trataremos de aplicar estos aprendizajes a nuestro diseño de sistemas informáticos.

Cuéntanos sobre la importancia de los modelos de aprendizaje automático en la sociedad actual. ¿A qué problemas estamos viendo que se aplican los modelos?

Los modelos de aprendizaje automático se están aplicando a más y más campos, desde herramientas de procesamiento del lenguaje hasta problemas de biología y química, vehículos eléctricos e incluso instalaciones de aceleradores de partículas, como en SLAC.

Un ejemplo específico que ya hemos visto son los modelos de aprendizaje de idiomas. Algunos modelos de aprendizaje de lenguaje natural tienen más de 170 000 millones de parámetros que deben optimizarse al entrenar el modelo. Los modelos de aprendizaje automático generalmente intentan aprender los patrones entre un conjunto definido de entradas y salidas en un gran conjunto de datos. Esta parte de la construcción de un modelo se llama entrenamiento y consume mucha energía.

En nuestro análisis preliminar, encontramos que un modelo de un solo idioma (por ejemplo, ChatGPT) en el límite inferior requería tanta electricidad como el uso mensual promedio de electricidad de la ciudad de Atlanta o Los Ángeles en 2017. Por lo tanto, si podemos diseñar modelos de entrenamiento, como mediante el uso de algoritmos específicos y personalizados, el uso de energía para el entrenamiento puede disminuir. Nuestra intención es analizar estas necesidades energéticas de entrenamiento de forma sistemática y utilizar los principios aprendidos para desarrollar mejores soluciones en la aplicación de la IA.

¿La informática requiere más energía hoy que hace una década?

La informática hoy en día es más eficiente desde el punto de vista energético que hace una década, pero estamos utilizando muchas más herramientas informáticas hoy que hace una década. Entonces, en general, la cantidad de energía requerida por la computación ha aumentado con el tiempo. Queremos doblar hacia abajo la curva de la trayectoria del uso de energía, para que podamos seguir haciendo crecer la informática en todo el mundo sin afectar negativamente al clima.

¿Cuál es el desafío más difícil en su mente para reducir los requisitos de energía de la informática?

En este momento, diría que escalar la nueva tecnología de fabricación es nuestro desafío más difícil. Actualmente, las nuevas generaciones de tecnología están por debajo de los 10 nanómetros y se acercan a escalas de longitud a la par con el espacio entre los átomos. Además, el desarrollo de nuevas tecnologías es costoso y requiere varios miles de millones de dólares en investigación y desarrollo.

En segundo lugar a este desafío está cambiar la arquitectura y el hardware, que es más difícil que cambiar el software y los algoritmos. El hardware requiere fabricación a escala y muchos más jugadores están involucrados. Digamos que se te ocurrió el algoritmo más eficiente en el dispositivo más eficiente, pero se necesitan veinte mil millones de dólares para fabricarlo. En este caso, el diseño fracasó porque es demasiado costoso construirlo a escala. Debe considerar la fabricación junto con nuevas arquitecturas, diseño de software y otros factores. De lo contrario, todo el esfuerzo se convierte en una discusión académica discutible. Esperamos trazar varias soluciones para que nuestros socios industriales y de investigación las desarrollen.

El tercer desafío es desarrollar algoritmos y software que puedan mantenerse al día con nuestra creciente dependencia de la tecnología, pero que sean energéticamente eficientes.

¿Qué áreas futuras de investigación en eficiencia energética informática le entusiasman más?

La oportunidad más emocionante para mí es usar la inteligencia artificial para resolver nuestro problema de eficiencia energética en la informática. Usemos el aspecto positivo de la IA para reducir nuestro uso de energía.

La otra cosa emocionante es que en el futuro, las computadoras serán más como cerebros con sensores distribuidos que requieren mucha menos energía que los dispositivos actuales para procesar información óptima. Estas futuras computadoras pueden inspirarse en las formas en que las neuronas están conectadas y pueden tomar prestados principios de la computación cuántica, pero también pueden hacer computación clásica. Esto hará que nuestras máquinas funcionen más como la naturaleza, de manera más eficiente.