Dispositivo portátil utiliza sonar para reconstruir expresiones faciales

Los investigadores de Cornell han desarrollado un dispositivo auricular portátil, o «auricular», que rebota el sonido en las mejillas y transforma los ecos en un avatar de toda la cara en movimiento de una persona, utilizando tecnología acústica para ofrecer una mejor privacidad.

Un equipo dirigido por Cheng Zhang, profesor asistente de ciencias de la información, y François Guimbretière, profesor de ciencias de la información, diseñó el sistema, llamado EarIO. Transmite los movimientos faciales a un teléfono inteligente en tiempo real y es compatible con los auriculares disponibles en el mercado para videoconferencias inalámbricas con manos libres.

Los dispositivos que rastrean los movimientos faciales usando una cámara son «grandes, pesados ​​y consumen mucha energía, lo cual es un gran problema para los dispositivos portátiles», dijo Zhang. «También es importante que capturen mucha información privada».

El seguimiento facial a través de la tecnología acústica puede ofrecer una mejor privacidad, asequibilidad, comodidad y duración de la batería, dijo.

El equipo describió su auricular en «EarIO: un auricular de detección acústica de baja potencia para el seguimiento continuo de movimientos faciales detallados», publicado en Actas de la ACM sobre tecnologías interactivas, móviles, usables y ubicuas.

El EarIO funciona como un barco que envía pulsos de sonar. Un altavoz a cada lado del auricular envía señales acústicas a los lados de la cara y un micrófono capta los ecos. A medida que los usuarios hablan, sonríen o levantan las cejas, la piel se mueve y se estira, cambiando los perfiles de eco. Un algoritmo de aprendizaje profundo desarrollado por los investigadores utiliza inteligencia artificial para procesar continuamente los datos y traducir los ecos cambiantes en expresiones faciales completas.

«A través del poder de la IA, el algoritmo encuentra conexiones complejas entre el movimiento muscular y las expresiones faciales que los ojos humanos no pueden identificar», dijo el coautor Ke Li, estudiante de doctorado en el campo de la ciencia de la información. «Podemos usar eso para inferir información compleja que es más difícil de capturar: todo el frente de la cara».

Los esfuerzos anteriores del laboratorio de Zhang para rastrear los movimientos faciales usando auriculares con una cámara recrearon la cara completa en función de los movimientos de las mejillas vistos desde la oreja.

Al recopilar sonido en lugar de imágenes cargadas de datos, el auricular puede comunicarse con un teléfono inteligente a través de una conexión inalámbrica Bluetooth, manteniendo la información del usuario privada. Con las imágenes, el dispositivo necesitaría conectarse a una red Wi-Fi y enviar datos de un lado a otro a la nube, lo que podría hacerlo vulnerable a los piratas informáticos.

«Es posible que las personas no se den cuenta de cuán inteligentes son los dispositivos portátiles: qué dice esa información sobre usted y qué pueden hacer las empresas con esa información», dijo Guimbretière. Con imágenes de la cara, alguien también podría inferir emociones y acciones. «El objetivo de este proyecto es asegurarse de que toda la información, que es muy valiosa para su privacidad, esté siempre bajo su control y se calcule localmente».

El uso de señales acústicas también requiere menos energía que la grabación de imágenes, y EarIO usa 1/25 de la energía de otro sistema basado en cámaras que el laboratorio de Zhang desarrolló anteriormente. Actualmente, el auricular dura unas tres horas con la batería de un auricular inalámbrico, pero las investigaciones futuras se centrarán en ampliar el tiempo de uso.

Los investigadores probaron el dispositivo en 16 participantes y usaron la cámara de un teléfono inteligente para verificar la precisión de su rendimiento de imitación facial. Los experimentos iniciales muestran que funciona mientras los usuarios están sentados y caminando, y que el viento, el ruido de la carretera y las discusiones de fondo no interfieren con su señalización acústica.

En futuras versiones, los investigadores esperan mejorar la capacidad del auricular para desconectarse de los ruidos cercanos y otras interrupciones.

«El método de detección acústica que usamos es muy sensible», dijo el coautor Ruidong Zhang, estudiante de doctorado en el campo de la ciencia de la información. «Es bueno, porque es capaz de rastrear movimientos muy sutiles, pero también es malo porque cuando algo cambia en el entorno, o cuando tu cabeza se mueve ligeramente, también lo capturamos».

Una limitación de la tecnología es que antes del primer uso, EarIO debe recopilar 32 minutos de datos faciales para entrenar el algoritmo. «Eventualmente, esperamos hacer que este dispositivo se conecte y funcione», dijo Zhang.