La Inteligencia Artificial puede convertir un conjunto de fotografías 2D en una escena 3D renderizada en cuestión de segundos. Eso es lo que hace Instant Nerf, el último modelo de IA presentado por Nvidia en un evento realizado en el marco del Games Developer Conference 2022.
El ingenio hace exactamente lo contrario que hace 75 años consiguieron las cámaras Polaroid. Entonces fueron capaces de plasmar una imagen tridimensional en una escena en 2D en cuestión de segundos. Ahora el proceso es justo al revés.
Para ello, Nvidia ha empleado una tecnología basada en NeRF (siglas en inglés de campos de radiación neuronal), denominada Instant NeRF, que usa las redes neurales para representar y renderizar escenas 3D realistas basada en una colección de imágenes 2D.
Este video, publicado por la compañía, ofrece una completa visión de los resultados del proceso:
Basado en redes neuronales
Los NeRF se basan en redes neuronales para reconstruir cada escena a partir de las imágenes, prediciendo el color de la luz que se irradia en cualquier dirección. Sus responsables aseguran que se trata de la tecnología más rápida dentro de su segmento, lo que permite una aceleración de más de 1000x en algunos casos, por lo que la reproducción a 1080p se lleva a cabo en milisegundos.
En ese sentido, puede ser tan importante para el 3D como lo fueron las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando la velocidad, la facilidad, el alcance de la captura y el uso compartido en 3D. Las aplicaciones para esta tecnología pueden ser muchas y muy variadas, desde escanear rápidamente personas o entornos reales para usar sus diseños, hasta la implantación en robots autónomos para reforzar la percepción de forma y tamaño de objetos reales.
También puede ser usado para crear avatares en mundos virtuales, "capturar” a los participantes de una vídeoconferencia y sus entornos en 3D o para reconstruir escenas para mapas digitales en 3D.
Instant NeRF es fruto de un proyecto en el que NVIDIA lleva trabajando ya dos años. Según ha contado la compañía, en este tiempo se han producido muchos avances en diferentes sentidos. Por ejemplo. según afirman, el tiempo inicial que necesitaba la IA para procesar las imágenes y sus metadatos era de varios minutos. Sin embargo ahora, con toda la evolución que ha experimentado esta solución, en el punto actual la escena tridimensional se genera de manera prácticamente instantánea.