英伟达新技术可将2D照片迅速转换成3D场景 可用于训练自动驾驶汽车

据国外媒体报道，英伟达(Nvidia)AI研究人员开发了一种方法，通过使用超快速神经网络训练和快速渲染，可以将数十张2D图像快速转换为3D场景。这个过程被称为反向渲染(reverse rendering)，它使用人工智能来模仿现实世界中光线的行为，并将从不同角度拍摄的2D图像转换为3D场景。

(来源:英伟达)

英伟达的研究人员将这种新方法应用于一种名为神经辐射场(NeRF)的技术，从而开发出一种新的即时NeRF技术，这是迄今为止最快的NeRF技术。在某些情况下，它比其他技术快1000多倍。虽然Instant NeRF也需要照片的相机角度数据，但它使用的神经模型可以在短短几秒钟内训练出几十张静态照片。

英伟达图形研究副总裁在博客中进一步阐述了NeRF和Instant NeRF的区别。David Luebke表示，“如果说多边形网格等传统3D表示类似于矢量图像，那么NeRF就像是位图图像，它集中捕捉了光线从物体或场景中辐射出来的方式。从这个意义上说，即时NeRF对于3D的重要性可能就像数码相机和JPEG压缩对于2D摄影一样，它大大提高了3D捕捉和共享的速度、易用性和可实现性。”

通过使用神经网络，NeRF可以基于2D图像的输入集呈现逼真的3D场景。然而，最有趣的部分是，用于创建这些图像的神经网络如何填补2D图像之间的空白，即使图像中的物体或人被障碍物阻挡。

通常，由于可视化的复杂性和不同的分辨率，使用传统方法创建3D场景可能需要几个小时甚至更长时间。随着AI的引入，即使是早期的NeRF模型，经过几个小时的训练，也能在几分钟内呈现出清晰的无伪影场景。NVIDIA的Instant NeRF采用了公司开发的多分辨率哈希网格编码技术，可以将所需渲染时间缩短几个数量级。这项技术经过优化，可以在NVIDIA GPU上高效运行。

未来，即时NeRF技术可用于快速创建虚拟世界场景，以3D形式捕捉视频会议参与者及其环境，或为3D数字地图重建场景，或训练机器人和自动驾驶汽车根据捕捉到的2D图像或真实世界物体的视频剪辑，更好地理解物体的大小和形状。此外，建筑和娱乐行业可以使用Instant NeRF快速生成真实环境的数字呈现，创作者可以在此基础上进行修改和构建。英伟达的研究人员仍在探索如何使用新的输入编码技术来加速解决各种AI挑战，如强化学习、语言翻译和通用深度学习算法。

1据国外媒体报道，英伟达(Nvidia)AI研究人员开发了一种方法，通过使用超快速神经网络训练和快速渲染，可以将数十张2D图像快速转换为3D场景。这个过程被称为反向渲染(reverse rendering)，它使用人工智能来模仿现实世界中光线的行为，并将从不同角度拍摄的2D图像转换为3D场景。

(来源:英伟达)

英伟达的研究人员将这种新方法应用于一种名为神经辐射场(NeRF)的技术，从而开发出一种新的即时NeRF技术，这是迄今为止最快的NeRF技术。在某些情况下，它比其他技术快1000多倍。虽然Instant NeRF也需要照片的相机角度数据，但它使用的神经模型可以在短短几秒钟内训练出几十张静态照片。

英伟达图形研究副总裁在博客中进一步阐述了NeRF和Instant NeRF的区别。David Luebke表示，“如果说多边形网格等传统3D表示类似于矢量图像，那么NeRF就像是位图图像，它集中捕捉了光线从物体或场景中辐射出来的方式。从这个意义上说，即时NeRF对于3D的重要性可能就像数码相机和JPEG压缩对于2D摄影一样，它大大提高了3D捕捉和共享的速度、易用性和可实现性。”

通过使用神经网络，NeRF可以基于2D图像的输入集呈现逼真的3D场景。然而，最有趣的部分是，用于创建这些图像的神经网络如何填补2D图像之间的空白，即使图像中的物体或人被障碍物阻挡。

通常，由于复杂性……和不同的可视化分辨率，使用传统方法创建3D场景可能需要几个小时甚至更长时间。随着AI的引入，即使是早期的NeRF模型，经过几个小时的训练，也能在几分钟内呈现出清晰的无伪影场景。NVIDIA的Instant NeRF采用了公司开发的多分辨率哈希网格编码技术，可以将所需渲染时间缩短几个数量级。这项技术经过优化，可以在NVIDIA GPU上高效运行。

未来，即时NeRF技术可用于快速创建虚拟世界场景，以3D形式捕捉视频会议参与者及其环境，或为3D数字地图重建场景，或训练机器人和自动驾驶汽车根据捕捉到的2D图像或真实世界物体的视频剪辑，更好地理解物体的大小和形状。此外，建筑和娱乐行业可以使用Instant NeRF快速生成真实环境的数字呈现，创作者可以在此基础上进行修改和构建。英伟达的研究人员仍在探索如何使用新的输入编码技术来加速解决各种AI挑战，如强化学习、语言翻译和通用深度学习算法。

标签：

汽车资讯热门资讯