首页 Metaverse 英伟达发布Neuralangelo,借助神经网络将2D视频转换为更精细的3D结构
英伟达发布Neuralangelo,借助神经网络将2D视频转换为更精细的3D结构

英伟达发布Neuralangelo,借助神经网络将2D视频转换为更精细的3D结构

  近日,英伟达研究院(NVIDIA Research)发布了名为Neuralangelo的人工智能模型,该模型使用神经网络进行3D重建,它可以将2D视频剪辑转化为详细的3D结构,如可以生成生成逼真的建筑物、雕塑和其他现实世界物体的虚拟复制品。

  就像上图中展示的那样,就像米开朗基罗用大理石雕刻出令人惊叹的栩栩如生的视觉一样,Neuralangelo可以生成雕塑的具有复杂细节和纹理的3D结构。然后,创意专业人士可以将这些3D对象导入设计应用程序,进一步编辑它们以用于艺术、视频游戏开发、机器人和工业数字孪生等应用。

  Neuralangelo将复杂材料的纹理从2D视频转换为3D资产的能力大大超过了之前的方法。高保真度使其3D重建更容易为开发人员和创意专业人员使用智能手机捕获的镜头快速创建可用的虚拟对象。

  英伟达的研究人员表示,Neuralangelo提供的3D重建能力将给创作者带来巨大的好处,帮助他们在数字世界中重塑现实世界。这个工具最终将使开发人员能够将详细的物体,无论是小的雕像还是大型建筑,导入到视频游戏或工业数字孪生的虚拟环境中。

  之前用于重建3D场景的人工智能模型很难准确捕捉重复的纹理图案、均匀的颜色和强烈的颜色变化。而Neuralangelo采用即时神经图形原语(NVIDIA instant NeRF背后的技术)来帮助捕获这些更精细的细节。

  使用从不同角度拍摄的物体或场景的2D视频,Neuralangelo模型选择捕捉不同视角的几个帧,就像艺术家从多个角度考虑一个主题以获得深度、大小和形状感一样。

  一旦确定了每一帧的相机位置,Neuralangelo就会创建一个场景的粗略3D表示,就像雕塑家开始凿出主题的形状一样。

  然后,模型优化渲染以锐化细节,就像雕刻家辛辛苦苦地切割石头以模仿织物或人物的纹理一样。

  最终的结果是一个3D物体或大型场景,可用于虚拟现实应用、数字孪生或机器人开发。

Powered by Froala Editor