En GTC 2022, el equipo de investigación de NVIDIA presentó una tecnología impresionante llamada Instant NeRF que podría convertir fotos 2D en escenas 3D en cuestión de segundos.
Para hacer esto, los investigadores aprovecharon el poder de la IA, más específicamente a través de los llamados (neural radiance fields) campos de radiación neuronal. Los NeRF usan redes neuronales para reconstruir la escena a partir de las imágenes al predecir el color de la luz que se irradia en cualquier dirección. NVIDIA afirma que Instant NeRF es la tecnología más rápida de su tipo hasta el momento, lo que permite una aceleración multiplicativa de más de 1000x en algunos casos, de modo que el renderizado a 1080p ocurre en solo milisegundos.
Como dice NVIDIA esto es un render a la inversa, ya que en vez de utilizar un modelo tridimensional para lanzar rayos que rebotan en las superficies de forma directa e indirecta y así crear una imagen bidimensional fotorealista, como hacen en los videojuegos, el render a la inversa analiza fotografías bidimensionales para intentar reconstruir la escena en tres dimensiones. La tecnología analiza las imágenes y la inteligencia artificial es capaz de deducir el origen de cada píxel de la imagen, reconstruyendo toda la realidad aunque no pueda verla.
Nvidia está evolucionando estas técnicas a una velocidad increíble.
Nvidia ha evolucionado este método para hacer que este proceso sea casi instantáneo. Una vez la red neuronal ha reconstruido la escena, puedes moverte con libertad por ella, en tiempo real, y re-fotografiar la escena desde cualquier ángulo, incluso por detrás de una persona, en tiempo real.
Como era de esperar, Instant NeRF se desarrolló con CUDA Toolkit y la biblioteca Tiny CUDA Neural Networks. Pueden acceder a su código en esta página, ya que según NVIDIA, la red neuronal es lo suficientemente liviana como para ejecutarse fácilmente en una sola GPU, especialmente si está equipada con Tensor Cores.
David Luebke, vicepresidente de investigación gráfica de NVIDIA, dijo:
Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena. En ese sentido, Instant NeRF puede ser tan importante para el 3D como lo fueron las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D.
Las aplicaciones para la tecnología Instant NeRF pueden ser muchas, desde escanear rápidamente a personas o entornos reales para que los creadores de juegos puedan usar escaneos digitales en sus diseños, hasta entrenar autos o robots autónomos para comprender la forma y el tamaño de objetos reales.