Nueva herramienta ofrece control de iluminación directa para fotografías que usan modelado de escenas 3D

La iluminación juega un papel crucial cuando se trata de narración visual. Ya sea cine o fotografía, los creadores pasan innumerables horas y, a menudo, presupuestos significativos, elaborando la iluminación perfecta para su toma. Pero una vez que se captura una fotografía o video, la iluminación es esencialmente fija. Ajustarlo después, una tarea llamada «aliviar», generalmente exige un trabajo manual que consume mucho tiempo de artistas calificados.

Si bien algunas herramientas generativas de IA intentan abordar esta tarea, dependen de redes neuronales a gran escala y miles de millones de imágenes de entrenamiento para adivinar cómo la luz podría interactuar con una escena. Pero el proceso es a menudo una caja negra; Los usuarios no pueden controlar la iluminación directamente o comprender cómo se generó el resultado, a menudo conduciendo a salidas impredecibles que pueden desviarse del contenido original de la escena. Obtener el resultado que uno imagina a menudo requiere ingeniería rápida y prueba y error, lo que obstaculiza la visión creativa del usuario.

En un nuevo artículo que se presentará en la Conferencia Siggraph de este año en Vancouver, los investigadores del laboratorio de fotografía computacional en SFU ofrecen un enfoque diferente para el alivio. Su trabajo «Revisión de fotografías con control físico«, trae un control explícito sobre las luces, generalmente disponibles en el software de gráficos por computadora, como Blender o Unreal Engine, a la edición de imágenes y fotos.

Dada una fotografía, el método comienza estimando una versión en 3D de la escena. Este modelo 3D representa la forma y los colores de la superficie de la escena, mientras que intencionalmente dejan de lado cualquier iluminación. La creación de esta representación 3D es posible por trabajos anteriores, incluida la investigación previamente desarrollada del laboratorio de fotografía computacional.

https://www.youtube.com/watch?v=XFJCT3D8T0M

«Después de crear la escena 3D, los usuarios pueden colocar fuentes de luz virtual en ella, al igual que lo harían en un estudio de fotos real o un software de modelado 3D», explica Chris Careega, un doctorado. Estudiante de SFU y autor principal de la obra. «Luego simulamos interactivamente las fuentes de luz definidas por el usuario con técnicas bien establecidas a partir de gráficos por computadora».

El resultado es una vista previa aproximada de la escena bajo la nueva iluminación, pero no se ve realista por sí solo, explica Careaga. En este nuevo trabajo, los investigadores han desarrollado una red neuronal que puede transformar esta vista previa aproximada en una fotografía realista.

«Lo que hace que nuestro enfoque sea único es que brinda a los usuarios el mismo tipo de control de iluminación que esperaría en herramientas 3D como Blender o Unreal Engine», agrega Careaga. «Al simular las luces, nos aseguramos de que nuestro resultado sea una interpretación físicamente precisa de la iluminación deseada del usuario».

Su enfoque permite insertar nuevas fuentes de luz en imágenes y hacer que interactúen de manera realista con la escena. El resultado es la capacidad de crear imágenes de referencia que antes eran imposibles de lograr.

https://www.youtube.com/watch?v=xl6qx3rzns8

El sistema de renuncia del equipo actualmente funciona con imágenes estáticas, pero el equipo está interesado en extender la funcionalidad al video en el futuro, lo que lo convertiría en una herramienta invaluable para artistas y cineastas de VFX.

https://www.youtube.com/watch?v=tg2dfenlaq0

«A medida que esta tecnología continúa desarrollándose, podría ahorrar a los cineastas independientes y a los creadores de contenido una cantidad significativa de tiempo y dinero», explica el Dr. Yağız Aksoy, quien lidera el laboratorio de fotografía computacional en SFU. «En lugar de comprar equipo de iluminación costoso o escenas de rehabilitación, pueden hacer cambios de iluminación realistas después del hecho, sin tener que filtrar su visión creativa a través de un modelo de IA generativo».

Este documento es el último de una serie de proyectos de investigación de «iluminación» del laboratorio de fotografía computacional. El trabajo anterior del grupo sobre la descomposición intrínseca establece las bases para su nuevo método de renuncia, y desglosan cómo se conecta todo en su video explicativo.

Puede obtener más información sobre la investigación del laboratorio de fotografía computacional sobre su Página web.