Esta mano digital permite la realidad virtual manos libres

Una mano digital controlada por voz podría mejorar la comodidad y accesibilidad de la realidad virtual y aumentada al permitir el uso de juegos y aplicaciones con manos libres. El prototipo de software fue desarrollado por informáticos de la Universidad de Michigan.

El software de los investigadores, llamado HandProxy, permite a los usuarios de realidad virtual y realidad aumentada interactuar con espacios digitales al controlar una mano incorpórea. Los usuarios pueden pedirle a la mano que agarre y mueva objetos virtuales, arrastre y cambie el tamaño de ventanas y realice gestos, como levantar el pulgar. Incluso puede gestionar tareas complejas, como «recoger la mesa», sin que le indiquen cada paso intermedio, gracias al poder interpretativo de GPT-4o, el modelo de IA detrás de ChatGPT.

La capacidad de la mano para analizar de forma independiente tareas complejas sobre la marcha la hace más flexible que las funciones actuales de comando de voz de realidad virtual, que se limitan a tareas simples a nivel del sistema, como abrir y desplazarse por menús, o comandos predefinidos dentro de una aplicación o juego.

«Los dispositivos móviles han admitido tecnologías de asistencia que permiten modos de entrada alternativos y control automatizado de la interfaz de usuario, incluidos asistentes de tareas impulsados ​​por inteligencia artificial como Siri. Pero tales capacidades están en gran medida ausentes en las interacciones manuales de realidad virtual y realidad aumentada», dijo Anhong Guo, profesor asistente de desarrollo docente de Ciencias de la Computación e Ingeniería de Morris Wellman.

«HandProxy es nuestro intento de permitir a los usuarios realizar una transición fluida entre múltiples modos de interacción en la realidad virtual y aumentada, incluidos controladores, gestos con las manos y voz», dijo Guo, quien también es el autor correspondiente de un estudio que describe el software. publicado en Actas de la ACM sobre tecnologías interactivas, móviles, portátiles y ubicuas.

Los entusiastas elogian la realidad virtual por su inmersión. Los usuarios quieren estar dentro de un espacio virtual, no sólo verlo desde fuera. Los beneficios, afirman, van desde crear juegos mas emocionante a formación de médicos y cirujanos sin arriesgar vidas.

Maximizar el realismo físico es clave para suspender la incredulidad, por lo que la industria ha avanzado hacia el control táctil con cámaras y guantes de seguimiento manual. Pero centrarse en movimientos reales de las manos no es el método ideal para determinadas personas y situaciones. Es posible que los usuarios de realidad virtual en espacios reducidos no tengan espacio para gestos complicados, y los usuarios de realidad aumentada pueden querer navegar por pantallas pequeñas mientras tienen las manos ocupadas cocinando o limpiando.

Depender estrictamente de los gestos con las manos se vuelve aún más engorroso para los usuarios que tienen deficiencias motoras u otras discapacidades. Las personas con distrofia muscular y parálisis cerebral tienen dificultades para utilizar la realidad virtual, informa Scientific American. Los movimientos táctiles pueden incluso disuadir a algunos usuarios con enfermedades crónicas de probar la realidad virtual. Un Redditor compartió que una enfermedad crónica les impide disfrutar de juegos con movimientos repetitivos de balanceo y se mostraron escépticos de que la realidad virtual fuera adecuada para ellos. HandProxy podría ayudar a que la realidad virtual sea más cómoda y accesible.

«Si hay alguna física incorporada, lo cual es cierto para la mayoría de los juegos y aplicaciones de realidad virtual, HandProxy puede interactuar con ella», dijo Chen Liang, estudiante de doctorado en ciencias informáticas e ingeniería de la UM y primer autor del estudio. «Nuestra mano virtual emite la misma señal digital que la mano del usuario, por lo que los desarrolladores no tienen que añadir deliberadamente algo a sus programas sólo para nuestro sistema».

Algunos usuarios de prueba ya están entusiasmados con el potencial de la herramienta. En el estudio, se pidió a 20 participantes que replicaran tareas de un vídeo de demostración y luego exploraron libremente las capacidades de HandProxy durante 10 minutos. Algunos participantes estaban entusiasmados de tener un suplente virtual con el que podían «hablar con normalidad e intuitivamente». Pero otros participantes, para sorpresa de los investigadores, estaban más entusiasmados con la idea de que la mano realizara tareas más abstractas que «no se limiten al mundo físico».

«Podría actuar como un agente, donde un usuario le da un comando de alto nivel, como ‘organizar mi espacio de trabajo’, y encuentra una manera de ordenar y cerrar todas las ventanas abiertas», dijo Liang.

Una barrera para la adopción es que la mano a veces malinterpreta las órdenes del usuario. A HandProxy se le pidió que realizara 781 tareas durante el estudio, y si bien realizó correctamente la mayoría de las tareas en uno a cuatro intentos, falló en 64. Por ejemplo, el software no se dio cuenta de que un usuario se refería a una canasta digital cuando dijo «el objeto marrón», y no supo presionar un botón de corazón cuando se le pidió que «le gustara la foto».

Actualmente, los investigadores están trabajando en formas de ayudar al software a interpretar el habla ambigua, sin tomarse demasiadas libertades. Un participante del estudio ofreció una posible solución: permitir que la mano haga y responda preguntas.