El nuevo hardware ofrece un cómputo más rápido para la inteligencia artificial, con mucha menos energía

A medida que los científicos amplían los límites del aprendizaje automático, la cantidad de tiempo, energía y dinero necesarios para entrenar modelos de redes neuronales cada vez más complejos se dispara. Una nueva área de inteligencia artificial llamada aprendizaje profundo analógico promete un cálculo más rápido con una fracción del uso de energía.

Las resistencias programables son los bloques de construcción clave en el aprendizaje profundo analógico, al igual que los transistores son los elementos centrales de los procesadores digitales. Mediante la repetición de conjuntos de resistencias programables en capas complejas, los investigadores pueden crear una red de «neuronas» y «sinapsis» artificiales analógicas que ejecutan cálculos como una red neuronal digital. Luego, esta red se puede entrenar para lograr tareas complejas de IA como el reconocimiento de imágenes y el procesamiento del lenguaje natural.

Un equipo multidisciplinario de investigadores del MIT se dispuso a superar los límites de velocidad de un tipo de sinapsis analógica creada por humanos que habían desarrollado previamente. Utilizaron un material inorgánico práctico en el proceso de fabricación que permite que sus dispositivos funcionen 1 millón de veces más rápido que las versiones anteriores, que también es aproximadamente 1 millón de veces más rápido que las sinapsis en el cerebro humano.

Además, este material inorgánico también hace que la resistencia sea extremadamente eficiente desde el punto de vista energético. A diferencia de los materiales utilizados en la versión anterior de su dispositivo, el nuevo material es compatible con las técnicas de fabricación de silicio. Este cambio ha permitido fabricar dispositivos a escala nanométrica y podría allanar el camino para la integración en hardware informático comercial para aplicaciones de aprendizaje profundo.

«Con esa información clave y las poderosas técnicas de nanofabricación que tenemos en MIT.nano, hemos podido juntar estas piezas y demostrar que estos dispositivos son intrínsecamente muy rápidos y funcionan con voltajes razonables», dice el autor principal Jesús A. del Alamo, Profesor Donner en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT. «Este trabajo realmente ha puesto a estos dispositivos en un punto en el que ahora parecen realmente prometedores para futuras aplicaciones».

«El mecanismo de trabajo del dispositivo es la inserción electroquímica del ion más pequeño, el protón, en un óxido aislante para modular su conductividad electrónica. Debido a que estamos trabajando con dispositivos muy delgados, podríamos acelerar el movimiento de este ion usando una fuerte electricidad y llevar estos dispositivos iónicos al régimen de operación de nanosegundos», explica la autora principal Bilge Yildiz, profesora Breene M. Kerr en los departamentos de Ciencia e Ingeniería Nuclear y Ciencia e Ingeniería de Materiales.

«El potencial de acción en las células biológicas sube y baja con una escala de tiempo de milisegundos, ya que la diferencia de voltaje de alrededor de 0,1 voltios está limitada por la estabilidad del agua», dice el autor principal Ju Li, profesor de ciencia e ingeniería nuclear de Battelle Energy Alliance. profesor de ciencia e ingeniería de materiales, «Aquí aplicamos hasta 10 voltios a través de una película de vidrio sólido especial de espesor a nanoescala que conduce protones, sin dañarlo permanentemente. Y cuanto más fuerte es el campo, más rápidos son los dispositivos iónicos».

Estas resistencias programables aumentan enormemente la velocidad a la que se entrena una red neuronal, al tiempo que reducen drásticamente el costo y la energía para realizar ese entrenamiento. Esto podría ayudar a los científicos a desarrollar modelos de aprendizaje profundo mucho más rápido, que luego podrían aplicarse en usos como automóviles autónomos, detección de fraudes o análisis de imágenes médicas.

«Una vez que tenga un procesador analógico, ya no estará entrenando redes en las que todos los demás están trabajando. Entrenará redes con complejidades sin precedentes que nadie más puede permitirse y, por lo tanto, las superará ampliamente a todas. En otras palabras, esto es no es un coche más rápido, es una nave espacial», añade el autor principal y posdoctorado del MIT, Murat Onen.

La investigación se publica hoy en Ciencias.

Acelerar el aprendizaje profundo

El aprendizaje profundo analógico es más rápido y eficiente energéticamente que su contraparte digital por dos razones principales. «Primero, el cálculo se realiza en la memoria, por lo que no se transfieren enormes cargas de datos de la memoria al procesador». Los procesadores analógicos también realizan operaciones en paralelo. Si el tamaño de la matriz se expande, un procesador analógico no necesita más tiempo para completar nuevas operaciones porque todos los cálculos ocurren simultáneamente.

El elemento clave de la nueva tecnología de procesador analógico del MIT se conoce como resistencia programable protónica. Estas resistencias, que se miden en nanómetros (un nanómetro es la mil millonésima parte de un metro), están dispuestas en una matriz, como un tablero de ajedrez.

En el cerebro humano, el aprendizaje ocurre debido al fortalecimiento y debilitamiento de las conexiones entre las neuronas, llamadas sinapsis. Las redes neuronales profundas han adoptado durante mucho tiempo esta estrategia, donde los pesos de la red se programan a través de algoritmos de entrenamiento. En el caso de este nuevo procesador, aumentar y disminuir la conductancia eléctrica de las resistencias protónicas permite el aprendizaje automático analógico.

La conductancia está controlada por el movimiento de los protones. Para aumentar la conductancia, se introducen más protones en un canal de la resistencia, mientras que para disminuir la conductancia se extraen protones. Esto se logra utilizando un electrolito (similar al de una batería) que conduce protones pero bloquea los electrones.

Para desarrollar una resistencia protónica programable súper rápida y de alta eficiencia energética, los investigadores buscaron diferentes materiales para el electrolito. Mientras que otros dispositivos usaban compuestos orgánicos, Onen se centró en el vidrio de fosfosilicato inorgánico (PSG).

PSG es básicamente dióxido de silicio, que es el material desecante en polvo que se encuentra en pequeñas bolsas que vienen en la caja con muebles nuevos para eliminar la humedad. También es el óxido más conocido utilizado en el procesamiento de silicio. Para hacer PSG, se agrega una pequeña cantidad de fósforo al silicio para darle características especiales para la conducción de protones.

Onen planteó la hipótesis de que un PSG optimizado podría tener una alta conductividad de protones a temperatura ambiente sin necesidad de agua, lo que lo convertiría en un electrolito sólido ideal para esta aplicación. Él estaba en lo correcto.

Velocidad sorprendente

PSG permite el movimiento ultrarrápido de protones porque contiene una multitud de poros de tamaño nanométrico cuyas superficies proporcionan caminos para la difusión de protones. También puede soportar campos eléctricos pulsados ​​muy fuertes. Esto es fundamental, explica Onen, porque aplicar más voltaje al dispositivo permite que los protones se muevan a velocidades deslumbrantes.

«Ciertamente, la velocidad fue sorprendente. Normalmente, no aplicaríamos campos tan extremos en los dispositivos para no convertirlos en cenizas. lo que teníamos antes. Y este movimiento no daña nada, gracias al pequeño tamaño y la poca masa de los protones. Es casi como teletransportarse», dice.

«La escala de tiempo de nanosegundos significa que estamos cerca del régimen de túnel balístico o incluso cuántico para el protón, bajo un campo tan extremo», agrega Li.

Debido a que los protones no dañan el material, la resistencia puede funcionar durante millones de ciclos sin romperse. Este nuevo electrolito habilitó una resistencia protónica programable que es un millón de veces más rápida que su dispositivo anterior y puede operar de manera efectiva a temperatura ambiente, lo cual es importante para incorporarlo al hardware informático.

Gracias a las propiedades aislantes del PSG, casi no pasa corriente eléctrica a través del material cuando se mueven los protones. Esto hace que el dispositivo sea extremadamente eficiente desde el punto de vista energético, añade Onen.

Ahora que han demostrado la efectividad de estos resistores programables, los investigadores planean rediseñarlos para la fabricación de alto volumen, dice del Alamo. Luego, pueden estudiar las propiedades de las matrices de resistencias y escalarlas para que puedan integrarse en los sistemas.

Al mismo tiempo, planean estudiar los materiales para eliminar los cuellos de botella que limitan el voltaje que se requiere para transferir eficientemente los protones hacia, a través y desde el electrolito.

«Otra dirección emocionante que estos dispositivos iónicos pueden permitir es el hardware de eficiencia energética para emular los circuitos neuronales y las reglas de plasticidad sináptica que se deducen en la neurociencia, más allá de las redes neuronales profundas analógicas», agrega Yildiz.

«La colaboración que tenemos será esencial para innovar en el futuro. El camino a seguir seguirá siendo muy desafiante, pero al mismo tiempo es muy emocionante», dice del Alamo.

Los coautores incluyen a Frances M. Ross, profesora de Ellen Swallow Richards en el Departamento de Ciencia e Ingeniería de Materiales; los posdoctorados Nicolas Emond y Baoming Wang; y Difei Zhang, estudiante de posgrado de EECS.