La arquitectura basada en RAM magnética podría allanar el camino para la implementación de redes neuronales en dispositivos IoT de borde

Hay, sin duda, dos grandes campos tecnológicos que se han ido desarrollando a un ritmo cada vez más rápido durante la última década: la inteligencia artificial (IA) y el Internet de las cosas (IoT).

Al sobresalir en tareas como el análisis de datos, el reconocimiento de imágenes y el procesamiento del lenguaje natural, los sistemas de IA se han convertido en herramientas innegablemente poderosas tanto en entornos académicos como industriales.

Mientras tanto, la miniaturización y los avances en la electrónica han permitido reducir masivamente el tamaño de los dispositivos funcionales capaces de conectarse a Internet. Tanto los ingenieros como los investigadores prevén un mundo en el que los dispositivos de IoT sean omnipresentes, lo que constituirá la base de un mundo altamente interconectado.

Sin embargo, llevar capacidades de IA a los dispositivos de IoT presenta un desafío importante. Las redes neuronales artificiales (RNA), una de las tecnologías de IA más importantes, requieren importantes recursos computacionales, y los dispositivos de borde de IoT son intrínsecamente pequeños, con potencia, velocidad de procesamiento y espacio de circuito limitados. Desarrollar RNA que puedan aprender, implementarse y operar de manera eficiente en dispositivos perimetrales es un obstáculo importante.

En respuesta, el profesor Takayuki Kawahara y Yuya Fujiwara de la Universidad de Ciencias de Tokio están trabajando arduamente para encontrar soluciones elegantes a este desafío. En su último estudio publicado en Acceso IEEE El 8 de octubre de 2024, introdujeron un nuevo algoritmo de entrenamiento para un tipo especial de ANN llamado red neuronal binarizada (BNN), así como una implementación innovadora de este algoritmo en una arquitectura de computación en memoria (CiM) de vanguardia adecuada. para dispositivos IoT.

«Las BNN son ANN que emplean pesos y valores de activación de sólo -1 y +1, y pueden minimizar los recursos informáticos requeridos por la red reduciendo la unidad más pequeña de información a solo un bit», explica Kawahara.

«Sin embargo, aunque los pesos y los valores de activación se pueden almacenar en un solo bit durante la inferencia, los pesos y los gradientes son números reales durante el aprendizaje, y la mayoría de los cálculos realizados durante el aprendizaje también son cálculos de números reales. Por esta razón, ha sido difícil proporcionar capacidades de aprendizaje para BNN en el borde de IoT».

Para superar esto, los investigadores desarrollaron un nuevo algoritmo de entrenamiento llamado gradiente ternarizado BNN (TGBNN), que presenta tres innovaciones clave. Primero, emplearon gradientes ternarios durante el entrenamiento, mientras mantenían pesos y activaciones binarios. En segundo lugar, mejoraron el Estimador directo (STE), mejorando el control de la retropropagación del gradiente para garantizar un aprendizaje eficiente. En tercer lugar, adoptaron un enfoque probabilístico para actualizar los parámetros aprovechando el comportamiento de las células MRAM.

Posteriormente, el equipo de investigación implementó este novedoso algoritmo TGBNN en una arquitectura CiM, un paradigma de diseño moderno donde los cálculos se realizan directamente en la memoria, en lugar de en un procesador dedicado, para ahorrar espacio y energía en el circuito. Para lograrlo, desarrollaron una puerta lógica XNOR completamente nueva como componente básico de una matriz de memoria magnética de acceso aleatorio (MRAM). Esta puerta utiliza una unión de túnel magnético para almacenar información en su estado de magnetización.

Para cambiar el valor almacenado de una celda MRAM individual, los investigadores aprovecharon dos mecanismos diferentes. El primero fue el torque de la órbita de espín, la fuerza que se produce cuando se inyecta una corriente de espín de electrones en un material. El segundo fue la anisotropía magnética controlada por voltaje, que se refiere a la manipulación de la barrera de energía que existe entre los diferentes estados magnéticos de un material. Gracias a estos métodos, el tamaño del circuito de cálculo del producto de la suma se redujo a la mitad del de las unidades convencionales.

El equipo probó el rendimiento de su sistema CiM basado en MRAM propuesto para BNN utilizando el conjunto de datos de escritura a mano MNIST, que contiene imágenes de dígitos escritos a mano individuales que las ANN deben reconocer.

«Los resultados mostraron que nuestro BNN de gradiente ternarizado logró una precisión de más del 88% utilizando el aprendizaje basado en códigos de salida de corrección de errores (ECOC), al tiempo que igualaba la precisión de los BNN regulares con la misma estructura y lograba una convergencia más rápida durante el entrenamiento», señala Kawahara. . «Creemos que nuestro diseño permitirá BNN eficientes en dispositivos periféricos, preservando su capacidad de aprender y adaptarse».

Este avance podría allanar el camino hacia potentes dispositivos de IoT capaces de aprovechar la IA en mayor medida. Esto tiene implicaciones notables para muchos campos en rápido desarrollo. Por ejemplo, los dispositivos portátiles de monitoreo de la salud podrían volverse más eficientes, más pequeños y confiables sin requerir conectividad en la nube en todo momento para funcionar. De manera similar, las casas inteligentes podrían realizar tareas más complejas y operar de manera más receptiva.

En estos y todos los demás casos de uso posibles, el diseño propuesto también podría reducir el consumo de energía, contribuyendo así a los objetivos de sostenibilidad.