El chip fotónico integra detección y computación para una visión artificial ultrarrápida

Los investigadores han demostrado un nuevo chip inteligente de detección y computación fotónica que puede procesar, transmitir y reconstruir imágenes de una escena en cuestión de nanosegundos. Este avance abre la puerta a un procesamiento de imágenes a velocidades extremadamente altas que podría beneficiar a la inteligencia de borde para aplicaciones de visión artificial, como la conducción autónoma, la inspección industrial y la visión robótica.

La computación de borde, que realiza tareas informáticas intensivas como el procesamiento y análisis de imágenes en dispositivos locales, está evolucionando hacia inteligencia de borde al agregar análisis y toma de decisiones impulsados ​​por inteligencia artificial (IA).

«La captura, el procesamiento y el análisis de imágenes para tareas de vanguardia, como la conducción autónoma, actualmente están limitados a velocidades de milisegundos debido a la necesidad de conversiones ópticas a electrónicas», dijo el líder del equipo de investigación Lu Fang de la Universidad de Tsinghua en China.

«Nuestro nuevo chip puede realizar todos estos procesos en tan solo nanosegundos, manteniéndolos todos en el dominio óptico. Esto podría utilizarse para mejorar significativamente, o incluso reemplazar, la arquitectura tradicional de adquisición de sensores seguida de posprocesamiento con IA».

En Óptica el Los investigadores describen El nuevo chip, al que denominan chip de matriz computacional paralela óptica (OPCA), muestra que el OPCA tiene un ancho de banda de procesamiento de hasta cien mil millones de píxeles y un tiempo de respuesta de solo 6 nanosegundos, lo que supone unos seis órdenes de magnitud más rápido que los métodos actuales. También utilizaron el chip para crear una red neuronal óptica que integra la percepción, el cálculo y la reconstrucción de imágenes.

«El chip y la red neuronal óptica podrían aumentar la eficiencia del procesamiento de escenas complejas en la inspección industrial y ayudar a que la tecnología robótica inteligente avance hacia un nivel superior de inteligencia cognitiva», afirmó Wei Wu, coautor principal del artículo. «Creemos que también podría revolucionar la inteligencia de borde».

Eliminación de conversiones ópticas a eléctricas

La visión artificial, que utiliza cámaras, sensores de imagen, iluminación y algoritmos informáticos para capturar, procesar y analizar imágenes para tareas específicas, tradicionalmente implica convertir información óptica en señales eléctricas digitales mediante sensores. Estas señales se transmiten luego a través de fibras ópticas para la transmisión de datos a larga distancia y otras tareas posteriores.

Sin embargo, la conversión frecuente entre señales ópticas y eléctricas junto con los avances limitados en los procesadores electrónicos se han convertido en una restricción importante para mejorar la velocidad y la capacidad de procesamiento de la visión artificial.

«El mundo está entrando en una era de inteligencia artificial, pero esta requiere mucho tiempo y energía», afirmó Fang. «Mientras tanto, el crecimiento de los dispositivos de borde, como los teléfonos inteligentes, los automóviles inteligentes y los portátiles, ha dado lugar a un crecimiento explosivo de los datos de imágenes que se deben procesar, transmitir y visualizar. Estamos trabajando para avanzar en la visión artificial mediante la integración de la detección y la computación en el dominio óptico, lo que es especialmente importante para la computación de borde y para permitir aplicaciones de inteligencia artificial más sostenibles».

El desafío de realizar tanto la adquisición como el análisis de imágenes en el mismo chip en el dominio óptico es encontrar una forma de convertir la luz espacial del espacio libre utilizada para la obtención de imágenes en una onda de luz guiada en el chip.

Los investigadores lograron esto mediante el diseño de un chip que consta de un conjunto de sensores y cálculos de resonadores anulares diseñados específicamente para convertir una imagen de intensidad óptica en el espacio libre (una representación 2D de la intensidad de la luz de una escena) en una señal de luz coherente que luego puede guiarse en el chip. Un conjunto de microlentes mejora el proceso al enfocar la escena en el chip OPCA.

Creación de una conexión de entrada-salida totalmente óptica

La arquitectura del chip permitió a los investigadores crear una red neuronal óptica de extremo a extremo con múltiples longitudes de onda para acoplar la luz modulada en el chip a una guía de ondas óptica de gran ancho de banda, donde la luz modulada se suma espectralmente. Las salidas ópticas multiespectrales se pueden utilizar para tareas de clasificación o para crear una reconstrucción completamente óptica de la imagen.

«Debido a que cada elemento de detección y cálculo de este chip es reconfigurable, cada uno puede funcionar como una neurona programable que genera una salida de modulación de luz basada en la entrada y el peso», dijo Fang.

«La red neuronal conecta todas las neuronas sensoras y computacionales con una única guía de ondas, facilitando una conexión totalmente óptica entre la información de entrada y la salida».

Para demostrar las capacidades del chip OPCA, los investigadores demostraron que se puede utilizar para clasificar una imagen escrita a mano y realizar una convolución de imagen, un proceso que aplica un filtro a una imagen para extraer características. Los hallazgos demostraron que la arquitectura del chip puede completar eficazmente la compresión de información y la reconstrucción de escenas, lo que indica su potencial para aplicaciones generalizadas.

Los investigadores ahora están trabajando para mejorar el chip de detección y computación OPCA para mejorar aún más el rendimiento computacional y al mismo tiempo alinearlo más de cerca con escenarios del mundo real y optimizarlo para aplicaciones de computación de borde.

Los investigadores afirman que, para su uso práctico, sería necesario aumentar la capacidad de procesamiento de la red neuronal óptica para gestionar de forma eficaz tareas inteligentes cada vez más complejas y realistas. También es necesario minimizar el formato del chip OPCA y el formato general.

«Esperamos que la visión artificial mejore gradualmente para que sea más rápida y más eficiente energéticamente mediante el uso de la luz para realizar tanto la detección como el cálculo», dijo Fang.

«Aunque es poco probable que el enfoque actual sea reemplazado por completo, esperamos que el método de computación de detección encuentre su nicho en la computación de borde, donde puede impulsar una amplia gama de aplicaciones prometedoras».