Un nuevo conjunto de datos para una mejor realidad aumentada y mixta

Los científicos informáticos de la Universidad de California en San Diego han publicado OpenRooms, un nuevo conjunto de datos de código abierto con herramientas que ayudarán a los usuarios a manipular objetos, materiales, iluminación y otras propiedades en escenas 3D de interiores para avanzar en la realidad aumentada y la robótica.

«Este fue un gran esfuerzo, que involucró a 11 estudiantes de doctorado y maestría de mi grupo y colaboradores en UC San Diego y Adobe», dijo Manmohan Chandraker, profesor del Departamento de Ingeniería y Ciencias de la Computación de UC San Diego. «Es un desarrollo importante, con un gran potencial para impactar tanto en la academia como en la industria en visión por computadora, gráficos, robótica y aprendizaje automático».

El conjunto de datos de OpenRooms y las actualizaciones relacionadas están disponibles públicamente en este sitio web, con detalles técnicos descritos en un documento asociado presentado en CVPR 2021 en mayo.

Aplicaciones

OpenRooms permite a los usuarios ajustar de forma realista las escenas a su gusto. Si una familia quiere visualizar la remodelación de una cocina, pueden cambiar los materiales de la encimera, la iluminación o prácticamente cualquier cosa en la habitación.

«Con OpenRooms, podemos calcular todo el conocimiento sobre las formas 3D, el material y la iluminación en la escena por píxel», dijo Chandraker. «La gente puede tomar una fotografía de una habitación e insertar y manipular objetos virtuales. Pueden mirar una silla de cuero, luego cambiar el material a una silla de tela y ver cuál se ve mejor».

OpenRooms puede incluso mostrar cómo se vería esa silla durante el día bajo la luz natural de una ventana o debajo de una lámpara por la noche. También puede ayudar a resolver problemas de robótica, como la mejor ruta para tomar el control de pisos con diferentes perfiles de fricción. Estas capacidades están encontrando mucho interés en la comunidad de simulación porque, anteriormente, los datos eran propietarios o no estaban disponibles con un fotorrealismo comparable.

«Estas herramientas están ahora disponibles de una manera verdaderamente democrática», dijo Chandraker, «proporcionando activos accesibles para aplicaciones de robótica y realidad aumentada fotorrealistas».

Hacer la realidad aumentada más real

El equipo de Chandraker utiliza métodos computacionales para darle sentido al mundo visual. Se centran especialmente en cómo interactúan las formas, los materiales y la iluminación para formar imágenes.

«En esencia, queremos entender cómo se crea el mundo y cómo podemos actuar sobre él», dijo. «Podemos insertar objetos en escenas existentes o avanzar en la conducción autónoma, pero para hacer estas cosas, necesitamos comprender varios aspectos de una escena y cómo interactúan entre sí».

Esta comprensión profunda es fundamental para lograr el fotorrealismo en la realidad mixta. Insertar un objeto en una escena requiere razonar sobre el sombreado de varias fuentes de luz, las sombras proyectadas por otros objetos o las interreflexiones de la escena circundante. El marco también debe manejar interacciones similares de largo alcance entre partes distantes de la escena para cambiar los materiales o la iluminación en escenas interiores complejas.

Hollywood resuelve estos problemas con plataformas basadas en mediciones, como disparar al actor Andy Serkis dentro de un pórtico y convertir esas imágenes en Gollum en la trilogía de El señor de los anillos. El laboratorio quiere lograr efectos similares sin sistemas costosos.

Caja de herramientas de código abierto

Para llegar allí, el grupo necesitaba encontrar formas creativas de representar formas, materiales e iluminación. Pero adquirir esta información puede llevar mucho tiempo, requerir muchos datos y ser costoso, especialmente cuando se trata de escenas interiores complejas con muebles y paredes que tienen diferentes formas y materiales y están iluminados por varias fuentes de luz, como ventanas, plafones o lámparas.

«Uno tendría que medir la iluminación y las propiedades del material en cada punto de la habitación», dijo Chandraker. «Es factible, pero simplemente no escala».

OpenRooms utiliza datos sintéticos para representar estas imágenes, lo que proporciona una forma precisa y económica de proporcionar geometría, materiales e iluminación reales. Los datos se pueden utilizar para entrenar poderosas redes neuronales profundas que estimen esas propiedades en imágenes reales, lo que permite la inserción de objetos fotorrealistas y la edición de material.

Estas posibilidades fueron demostradas en una presentación oral CVPR 2020 por Zhengqin Li, un Ph.D. de quinto año. estudiante asesorado por Chandraker y primer autor del artículo de OpenRooms. El software proporciona herramientas automatizadas que permiten a los usuarios tomar imágenes reales y convertirlas en contrapartes sintéticas y fotorrealistas.

«Estamos creando un marco en el que los usuarios pueden utilizar sus teléfonos móviles o escáneres 3D para desarrollar conjuntos de datos que permitan sus propias aplicaciones de realidad aumentada», dijo Chandraker. «Simplemente pueden usar escaneos o conjuntos de fotografías».

Chandraker y su equipo estaban motivados, en parte, por la necesidad de crear una plataforma de dominio público. Las grandes empresas de tecnología tienen enormes recursos para crear datos de entrenamiento y otra propiedad intelectual, lo que dificulta que los pequeños jugadores se establezcan.

Esto quedó ilustrado recientemente cuando una empresa lituana, llamada Planner 5D, demandó a Facebook y Princeton, alegando que utilizaron ilegalmente sus datos de propiedad.

«Puede imaginarse que estos datos son realmente útiles para muchas aplicaciones», dijo Chandraker. «Pero el progreso en este espacio se ha limitado a unos pocos grandes actores que tienen la capacidad de realizar este tipo de mediciones complejas o trabajar con recursos costosos creados por artistas».