Imágenes hiperespectrales en un chip integrado

Las cámaras hiperespectrales dividen la luz reflejada por un objeto en muchas bandas espectrales estrechas, que capturan y procesan por separado. De esa forma, registran una firma espectral para cada píxel en una escena. Esta firma es mucho más rica que la imagen roja, verde y azul que captan nuestros ojos. Incluso puede identificar de manera única el material en la imagen, ya que cada molécula interactúa con la luz de una manera específica, lo que da como resultado una huella digital espectral. Estas huellas dactilares únicas tienen un valor excelente para identificar y clasificar todo tipo de materiales y objetos, y son vitales para una mayor automatización en los procesos industriales. Nos permite, por ejemplo, revelar la corrosión en los elementos estructurales de un puente.

La implementación más común de estas cámaras se llama «escoba de empuje», que escanea una escena línea por línea y toma varios segundos o incluso minutos. Además, estas cámaras se ensamblan a mano a partir de muchos componentes discretos, que incluyen ópticas de precisión costosas y pesadas en el vidrio. Requiere una cuidadosa alineación y calibración. Estos factores de implementación significan que solo los expertos en imágenes hiperespectrales pueden calibrar, corregir e interpretar los datos hiperespectrales en soluciones industriales reales.

Los cepillos de empuje hacen un gran trabajo en una situación de cinta transportadora, pero tienen dificultades con una cámara o una escena en movimiento libre. Piense en una cámara de inspección en un robot sonda o en un dron de vuelo libre. Para estos, necesita escanear fotogramas completos, preferiblemente a velocidad de video, para observar cambios en tiempo real. Por ejemplo, cuando un robot saca artículos al azar de una papelera, debe tomar fotos permanentemente para tomar nuevas decisiones después de cada acción. Cuando la imagen se actualiza a una velocidad de, por ejemplo, 30 cuadros por segundo, esto da como resultado un video hiperespectral. Hoy, el video hiperespectral está listo para usarse en una amplia variedad de contextos industriales: inspección de calidad, clasificación y detección de materiales. Entonces, ¿cómo llegamos allí? La respuesta corta: es la tecnología de chip.

Usando infraestructura basada en CMOS y tecnología de proceso en una sala limpia, imec desarrolló un chip con funcionalidad hiperespectral integrada mediante la construcción de filtros ópticos basados ​​en interferencias a nivel de oblea, depositándolos y modelándolos directamente sobre los píxeles del sensor de imagen. Este enfoque trajo importantes ventajas competitivas: los generadores de imágenes integrados se pueden producir en masa a un costo comparable al de los chips de computadora básicos. Además, son pequeños para que puedan insertarse en una cámara normal con lentes estándar. Tal cámara es adecuada para montar un dron o un pequeño robot.

El chip hiperespectral combina la precisión de la tecnología de escaneo tradicional con una mayor comodidad, brindando frecuencias de actualización rápidas de la escena. Puede escanear hasta 2880 líneas por segundo, cubriendo el campo de visión con 2048×1088 píxeles a una velocidad de aproximadamente 30 fps en condiciones de luz diurna y hasta 340 fps en niveles de iluminación más altos, como se usa típicamente en aplicaciones de visión artificial. La capacidad de fabricar una funcionalidad hiperespectral extremadamente compacta, confiable y rentable en un chip es clave para llevar este tipo de imágenes a nuevos mercados.

Tecnología de patrones de mosaico

La tecnología de patrones de mosaico se utiliza para lograr imágenes hiperespectrales en modo video. Los píxeles se agrupan en matrices de 3×3, 4×4 o 5×5. En la parte superior de cada grupo de, por ejemplo, 16 píxeles en el patrón de mosaico 4×4, se procesan 16 filtros de banda estrecha, lo que hace que los filtros tengan el tamaño de un píxel de generador de imágenes. Con este diseño de mosaico, ya no es necesario un duplicador separado o un hardware de división de haz.

Para aplicaciones industriales, no es necesario un nivel científico de volumen de datos. Obtener las bandas espectrales correctas requeridas para la aplicación es clave. Las especificaciones de la aplicación se pueden cumplir seleccionando el sensor de imagen adecuado con la velocidad, la sensibilidad o el número de píxeles específicos.

Mejoras en todo el ecosistema

Además de la integración de chips, se necesitaba la colaboración en toda la cadena de valor para ayudar a cerrar la brecha entre una tecnología prometedora y su aplicación en la industria: desde los fabricantes de hardware de cámaras hasta los usuarios finales. En ese contexto, los investigadores de imec se asociaron con Photonfocus para construir cámaras livianas y compactas alrededor de los chips integrados. Además, los investigadores de imec validan el rendimiento espectral de cada cámara y los usuarios finales reciben soporte directo y acceso al software. ¿El resultado? Rendimiento del sistema sin precedentes al tiempo que reduce significativamente la barrera de adopción.

Hablando de hardware: necesitamos mirar la luz. Una buena imagen multiespectral comienza con la iluminación adecuada. Después de examinar a fondo diferentes fuentes de luz, por ejemplo, LED, halógeno y bombilla, los investigadores de imec comenzaron a innovar conjuntamente con Effilux. La retroalimentación continua sobre el rango espectral, la potencia y la estabilidad produjo la combinación perfecta con los sensores integrados.

En el otro extremo de la cadena de valor, el principal desafío para el usuario final era poder interpretar datos hiperespectrales, sin necesidad de ser un experto en aprendizaje automático o imágenes hiperespectrales. Dos compañías de software, perClass y Luxflux, han creado un paquete de software para él, elaborando las API, el software y los algoritmos de imec para el procesamiento de datos detrás de él, reduciendo la barrera de entrada para los conocimientos hiperespectrales.

Acceso directo del problema a la solución de imágenes hiperespectrales

Estas mejoras a lo largo de la cadena de valor casi han cortado la fase de I+D para los clientes de la industria, cerrando la brecha entre un problema y su solución de imágenes hiperespectrales.

Reunir el conocimiento de los usuarios finales con el hardware resultó esencial para hacer que el mercado madurara. Están surgiendo nuevas aplicaciones hiperespectrales y compañías de software adyacentes en agricultura de precisión, protección de ecosistemas, detección y tratamiento de corrosión, minería, inspección de alimentos y detección de fugas de gas, entre otros. Una tecnología prometedora se ha puesto a trabajar.