La cámara de campo de luz AI lee expresiones faciales en 3D

Un equipo de investigación conjunto dirigido por los profesores Ki-Hun Jeong y Doheon Lee del Departamento de Bioingeniería y Cerebro de KAIST informó sobre el desarrollo de una técnica para la detección de expresiones faciales mediante la fusión de técnicas de cámara de campo de luz infrarroja cercana con tecnología de inteligencia artificial (IA). .

A diferencia de una cámara convencional, la cámara de campo de luz contiene matrices de microlentes frente al sensor de imagen, lo que hace que la cámara sea lo suficientemente pequeña como para caber en un teléfono inteligente, al tiempo que le permite adquirir la información espacial y direccional de la luz con un un solo tiro. La técnica ha recibido atención ya que puede reconstruir imágenes en una variedad de formas, incluidas vistas múltiples, reenfoque y adquisición de imágenes en 3D, lo que da lugar a muchas aplicaciones potenciales.

Sin embargo, la diafonía óptica entre las sombras causadas por las fuentes de luz externas en el entorno y la microlente ha limitado las cámaras de campo de luz existentes para que no puedan proporcionar un contraste de imagen preciso y una reconstrucción 3D.

El equipo de investigación conjunto aplicó un láser emisor de superficie de cavidad vertical (VCSEL) en el rango de infrarrojo cercano para estabilizar la precisión de la reconstrucción de imágenes en 3D que anteriormente dependía de la luz ambiental. Cuando una fuente de luz externa ilumina una cara en ángulos de 0, 30 y 60 grados, la cámara de campo de luz reduce el 54 % de los errores de reconstrucción de imágenes. Además, al insertar una capa absorbente de luz para longitudes de onda visibles y cercanas al IR entre las matrices de microlentes, el equipo pudo minimizar la diafonía óptica y aumentar el contraste de la imagen en 2,1 veces.

A través de esta técnica, el equipo pudo superar las limitaciones de las cámaras de campo de luz existentes y pudo desarrollar su cámara de campo de luz basada en NIR (NIR-LFC), optimizada para la reconstrucción de imágenes 3D de expresiones faciales. Usando el NIR-LFC, el equipo adquirió imágenes de reconstrucción en 3D de alta calidad de expresiones faciales que expresaban diversas emociones, independientemente de las condiciones de iluminación del entorno circundante.

Las expresiones faciales en las imágenes 3D adquiridas se distinguieron mediante el aprendizaje automático con una precisión promedio del 85 %, una cifra estadísticamente significativa en comparación con cuando se usaron imágenes 2D. Además, al calcular la interdependencia de la información de distancia que varía con la expresión facial en imágenes 3D, el equipo pudo identificar la información que utiliza una cámara de campo de luz para distinguir las expresiones humanas.

El profesor Ki-Hun Jeong dice que «la cámara de campo de luz subminiatura desarrollada por el equipo de investigación tiene el potencial de convertirse en la nueva plataforma para analizar cuantitativamente las expresiones faciales y las emociones de los humanos». Para resaltar la importancia de esta investigación, agregó, «podría aplicarse en varios campos, incluida la atención médica móvil, el diagnóstico de campo, la cognición social y las interacciones hombre-máquina».

Esta investigación fue publicada en Sistemas Inteligentes Avanzados.

Proporcionado por KAIST