in

PeopleLens: Uso de IA para apoyar la interacción social entre niños ciegos y sus compañeros – Microsoft Research

Un niño que usa PeopleLens se sienta en el piso de una sala de juegos con una pelota de tenis ciega en sus manos.  Su atención se dirige hacia una mujer sentada en el suelo frente a él con las manos extendidas.  PeopleLens parece unas pequeñas gafas que se colocan en la frente.  La imagen está marcada con anotaciones visuales para indicar lo que ve PeopleLens y qué sonidos se escuchan.

PeopleLens es una nueva tecnología de investigación diseñada para ayudar a las personas ciegas o con problemas de visión a comprender mejor su entorno social inmediato mediante la localización e identificación de personas en el espacio. Junto con un esquema de trabajo basado en la investigación y las prácticas de la psicología y la terapia del habla y el lenguaje, el sistema puede ayudar a los niños y jóvenes ciegos a forjar conexiones sociales con sus compañeros más fácilmente.

Para los niños ciegos de nacimiento, la interacción social puede ser particularmente desafiante. Un niño puede tener dificultades para dirigir su voz a la persona con la que está hablando y, en cambio, puede poner su cabeza en su escritorio. Los jóvenes lingüísticamente avanzados pueden tener dificultades para mantener un tema de conversación, hablando solo de algo que les interese. Lo más notable es que muchos niños y jóvenes ciegos luchan por involucrarse y entablar amistad con personas de su grupo de edad a pesar de un fuerte deseo de hacerlo. Esto suele ser profundamente frustrante para el niño o joven y puede ser igualmente frustrante para su red de apoyo de familiares y maestros que quieren ayudarlo a forjar estas importantes conexiones.

  • PUBLICACIÓN

    PersonasLente

    PeopleLens es un sistema de IA de composición abierta que ofrece a las personas ciegas o con baja visión más recursos para entender y relacionarse con su entorno social inmediato.

PeopleLens es una nueva tecnología de investigación que hemos creado para ayudar a los jóvenes ciegos (conocidos como aprendices en nuestro trabajo) y sus compañeros interactúan más fácilmente. PeopleLens, un dispositivo que se coloca en la cabeza, lee en voz alta en audio espacializado los nombres de personas conocidas cuando el alumno las mira. Eso significa que el sonido proviene de la dirección de la persona, lo que ayuda al alumno a comprender tanto la posición relativa como la distancia de sus compañeros. PeopleLens ayuda a los alumnos a crear una Mapa de personas, un mapa mental de quienes los rodean necesarios para señalar efectivamente la intención comunicativa. La tecnología, a su vez, indica a los compañeros del alumno cuando los compañeros han sido «vistos» y pueden interactuar, un reemplazo del contacto visual que generalmente inicia la interacción entre las personas.

Para los niños y jóvenes ciegos, PeopleLens es una forma de encontrar a sus amigos; sin embargo, para maestros y padres, es una forma de que estos niños y jóvenes desarrollen competencia y confianza en la interacción social. Un esquema de trabajo complementario tiene como objetivo guiar el desarrollo de habilidades de atención espacial que se cree que sustentan la interacción social a través de una serie de juegos que los estudiantes que usan PeopleLens pueden jugar con sus compañeros. También establece situaciones en las que los alumnos pueden experimentar agencia en la interacción social. El hecho de que un niño se dé cuenta de que puede elegir iniciar una conversación porque ve a alguien primero o que puede evitar que un hermano hablador desvíe la mirada es un momento poderoso, que lo motiva a profundizar en cómo dirigir su propia atención y la de los demás.

PeopleLens es un prototipo de investigación avanzada que funciona con gafas de realidad aumentada Nreal Light conectadas a un teléfono. Si bien no está disponible para la compra, estamos reclutando estudiantes en el Reino Unido de 5 a 11 años que cuenten con el apoyo de un maestro para explorar la tecnología como parte de un estudio de investigación de varias etapas. Para el estudio, dirigido por la Universidad de Bristol, se pedirá a los alumnos que utilicen PeopleLens durante un período de tres meses a partir de septiembre de 2022. Para obtener más información, visite el página de información del estudio de investigación.

fundación de investigación

El esquema de trabajo, en coautoría con los colaboradores profesora linda pring y Dra. Vasiliki Kladouchou, se basa en la investigación y la práctica de la psicología y la terapia del habla y el lenguaje para ofrecer actividades relacionadas con la tecnología. PeopleLens se basa en la hipótesis de que muchas dificultades de interacción social para los niños ciegos se derivan de las diferencias en las formas en que los niños con y sin visión adquieren procesos de atención fundamentales cuando son bebés y niños pequeños. Por ejemplo, al crecer, los niños con visión aprenden a internalizar un diálogo visual conjunto de atención. Un niño pequeño señala algo en el cielo y el padre dice: “Pájaro”. A través de estos diálogos, los niños pequeños aprenden cómo dirigir la atención de los demás. Sin embargo, no hay suficiente investigación para comprender cómo se manifiesta la atención conjunta en los niños ciegos. Una revisión de la literatura sugiere que la mayoría de las investigaciones no dan cuenta de la falta de un sentido y que las investigaciones específicas sobre la discapacidad visual no brindan un marco para la atención conjunta más allá de los 3 años. Estamos realizando investigaciones para comprender mejor cómo el desarrollo de la atención conjunta puede mejorarse en la educación temprana y aumentarse con la tecnología.

¿Cómo funciona PeopleLens?

PeopleLens es un sofisticado sistema prototipo de IA que está destinado a proporcionar a las personas ciegas o con baja visión una mejor comprensión de su entorno social inmediato. Utiliza un dispositivo de realidad aumentada montado en la cabeza en combinación con cuatro algoritmos de visión artificial de última generación para continuamente localice, identifique, rastree y capture las direcciones de la mirada de las personas en las inmediaciones. Luego presenta esta información al usuario a través de un audio espacializado, un sonido que proviene de la dirección de la persona. La naturaleza en tiempo real del sistema da una sensación de inmersión en el Mapa de personas.

PeopleLens ayuda al niño que lo usa a construir un mapa mental de aquellos en su entorno social inmediato. Debido a que PeopleLens lee en voz alta los nombres de las personas identificadas en audio espacializado, el niño puede tener una idea de las respectivas posiciones y distancias de sus compañeros. El sistema recibe imágenes y las procesa con algoritmos de visión artificial, como se muestra en las superposiciones de las imágenes superiores en esta captura de pantalla del entorno de desarrollo de PeopleLens. Luego, el sistema une un mapa mundial que se utiliza para impulsar las experiencias, como se muestra en la parte inferior derecha.

PeopleLens es una tecnología innovadora que también ha sido diseñada para proteger la privacidad. Entre los algoritmos que sustentan el sistema se encuentra el reconocimiento facial de las personas que han sido registradas en el sistema. Una persona se registra tomando varias fotografías de sí misma con el teléfono conectado a PeopleLens. Las fotografías no se almacenan, sino que se convierten en un vector de números que representan una cara. Estos difieren de los vectores utilizados en otros sistemas, por lo que el reconocimiento por parte de PeopleLens no conduce al reconocimiento por parte de ningún otro sistema. El sistema no captura ningún video o información de identificación, lo que garantiza que las imágenes no se puedan usar con fines malintencionados.

El sistema emplea una serie de sonidos para ayudar al usuario a ubicar a las personas en el espacio circundante: un golpe de percusión indica cuando su mirada se ha cruzado con una persona a una distancia de hasta 10 metros. La protuberancia es seguida por el nombre de la persona si la persona está registrada en el sistema, se encuentra dentro de los 4 metros del usuario y se pueden detectar ambos oídos de la persona. El sonido de los bloques de madera guía al usuario para encontrar y centrar la cara de una persona que el sistema ha visto durante 1 segundo pero no ha identificado, cambiando de tono para ayudar al usuario a ajustar su mirada en consecuencia. (Aquellas personas que no están registradas son reconocidas con un sonido de clic). La notificación de mirada puede alertar al usuario cuando está siendo observado.

La funcionalidad del sistema PeopleLens incluye funciones de experiencia como el reconocimiento de una persona frente al usuario; notificaciones de atención desde la dirección de quienes miran al usuario; la capacidad de seguir a alguien; y una guía de orientación para ayudar a los usuarios a encontrar personas y rostros.

Colaboración comunitaria

El éxito de PeopleLens, así como de sistemas similares, depende de un proceso de creación de prototipos que incluye una estrecha colaboración con las personas a las que pretende servir. Nuestro trabajo con niños ciegos y sus sistemas de apoyo nos ha puesto en el camino hacia la construcción de una herramienta que puede tener un valor práctico y empoderar a quienes la usan. Alentamos a los interesados ​​en PeopleLens a comunicarse para participar en nuestro estudio y ayudarnos a desarrollar aún más la tecnología.

Para obtener más información sobre PeopleLens y su desarrollo, consulte el Blog de historias de innovación sobre la tecnología.



Fuente

Written by TecTop

Apple y Major League Baseball ofrecerán “Friday Night Baseball”

El profesor de ciencias de la computación adopta un enfoque ‘práctico’ para la seguridad de los teléfonos inteligentes