Un paquete de software para facilitar el uso de campos de radiación neuronal en la investigación robótica

Los campos de radiación neuronal (NeRF) son técnicas avanzadas de aprendizaje automático que pueden generar representaciones tridimensionales (3D) de objetos o entornos a partir de imágenes bidimensionales (2D). Como estas técnicas pueden modelar entornos complejos del mundo real de forma realista y detallada, podrían ser de gran ayuda para la investigación en robótica.

Sin embargo, la mayoría de los conjuntos de datos y plataformas existentes para entrenar NeRF están diseñados para usarse sin conexión, ya que requieren completar un paso de optimización de pose que retrasa significativamente la creación de representaciones fotorrealistas. Esto ha impedido hasta ahora que la mayoría de los especialistas en robótica utilicen estas técnicas para probar sus algoritmos en robots físicos en tiempo real.

Un equipo de investigación de la Universidad de Stanford presentó recientemente NerfBridge, un nuevo paquete de software de código abierto para entrenar algoritmos NeRF que, en última instancia, podría permitir su uso en experimentos de robótica en línea. Este paquete, presentado en un artículo publicado previamente en arXivestá diseñado para unir de manera efectiva ROS (el sistema operativo del robot), una biblioteca de software de renombre para aplicaciones de robótica, y Nerfstudio, una biblioteca de código abierto diseñada para entrenar NeRF en tiempo real.

«Recientemente, los miembros de mi laboratorio, el Laboratorio de sistemas de múltiples robots de Stanford, se han entusiasmado con la exploración de aplicaciones de Neural Radiance Fields (NeRF) en robótica, pero descubrimos que en este momento no hay una manera fácil de usar estos métodos con un robot real, por lo que es imposible hacer experimentos reales con ellos», dijo a Tech Xplore Javier Yu, el primer autor del artículo. «Dado que las herramientas no existían, decidimos construirlas nosotros mismos, y a partir de ese impulso de ingeniería para ver cómo funcionan los NeRF en los robots, obtuvimos una buena herramienta que creemos que será útil para muchas personas en la comunidad de robótica. »

Los NeRF son técnicas sofisticadas basadas en redes neuronales artificiales que fueron introducidas por primera vez por la comunidad de investigación de gráficos por computadora. Básicamente, crean mapas detallados del mundo al entrenar una red neuronal para reconstruir la geometría 3D y el color de la escena capturada en una fotografía o imagen 2D.

«El problema del mapeo a partir de imágenes es uno en el que nosotros en la comunidad de robótica hemos estado trabajando durante mucho tiempo y los NeRF ofrecen una nueva perspectiva sobre cómo abordarlo», explicó Yu. «Normalmente, los NeRF se entrenan fuera de línea donde todas las imágenes se recopilan con anticipación, y luego el NeRF de la escena se entrena todo a la vez. Sin embargo, en robótica, queremos usar el NeRF directamente para tareas como la navegación. por lo tanto, el NeRF no es útil si solo lo obtenemos cuando llegamos a nuestro destino. En su lugar, queremos construir el NeRF de forma incremental (en línea) a medida que el robot explora su entorno. Este es exactamente el problema que resuelve NerfBridge».

NerfBridge, el paquete presentado por Yu y sus colegas, utiliza imágenes capturadas por sensores y cámaras integrados en robots físicos. Estas imágenes se transmiten continuamente a la potente biblioteca de entrenamiento NeRF de Nerfstudio, lo que permite la creación de NeRF que se actualizan y mejoran constantemente a medida que el robot captura nuevas imágenes de su entorno.

Para demostrar el potencial de su método, Yu y sus colegas lo usaron para entrenar un NeRF basado en imágenes capturadas por una cámara montada en un quadrotor, un dron con cuatro rotores, mientras volaba en ambientes interiores y exteriores. Sus resultados fueron notables, destacando el valor de NerfBridge para facilitar el uso de NeRF en la investigación robótica.

Este método prometedor pronto podría ser utilizado por otros investigadores para entrenar NERF y probar sus algoritmos en robots físicos mientras navegan por el entorno que los rodea. Mientras tanto, Yu y sus colegas planean explorar estrategias adicionales que podrían ampliar el uso de NeRF en robótica.

«En última instancia, esperamos que NerfBridge reduzca la barrera de entrada para que otros investigadores comiencen a buscar aplicaciones de NeRF en robótica y prueben sus nuevos algoritmos en robots en el mundo real», agregó Yu. «Avanzando desde NerfBridge, buscaremos métodos para mejorar el entrenamiento de NeRF cuando las imágenes se transmitan desde un robot y demostrar las ventajas concretas de usar mapas basados ​​en NeRF para otras tareas en robótica como la localización y la navegación».

© 2023 Ciencia X Red