NVIDIA用一张图生成完整3D模型，提升机器识别能力

waffle

来源: 爱集微

据MONOist网站报道，NVIDIA通过训练神经网络，用仅仅1张照片生成了具有完整纹理的3D模型。

自动生成3D模型的技术之前就已经出现，但前期需要准备从不同角度拍摄的多张照片，或需要人为输入一些参数来限定特定对象的尺寸和形状。

近日，NVIDIA研究小组在加拿大温哥华举行的年度神经信息处理系统会议上，发表了新论文“Learning to Predict 3D Objects with an Interpolation-Based Renderer”（基于插值的渲染器进行3D对象预测）。提出了一个完整的基于光栅化的微分渲染器，可以通过分析来计算梯度。当包裹在神经网络周围时，他们的框架学会了从单个图像预测形状，纹理和光线，并且展示了他们的框架以学习3D纹理形状的生成器。

NVIDIA研究人员在多个数据集上训练了微分渲染器神经网络，类似鸟类的图案，神经网络的训练可能需要2天左右，一旦训练完成，就能在100毫秒内根据未训练过的鸟类照片进行鸟类3D模型的量产。

这项技术可以用于机器人及自动驾驶领域，能够极大改善机器对物体的识别及理解能力。比如摄像机的实时视频中的静止图像可以立即转换为3D模型，从而使自动驾驶汽车能够准确地确定需要避开的大型卡车的尺寸。

这项技术同时也带来了一些隐私上的安全隐患，2D画面复原成3D模型技术的提升会带来图像匹配监视技术的发展，加速监控社会的形成。