中脉会员登录官网 Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

中脉会员登录官网 Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

中脉会员登录官网,外媒报道称,计算机很擅长计算 3d 模型,并将之放在 2d 屏幕上作展示。但若要将 2d 图像逆推成 3d 模型,计算机就有些力不从心了。好消息是,在机器学习技术的加持下,英伟达研究人员已经提出了一种类似的渲染框架。其通过 ai 来获取 2d 信息,并将之准确地转换为 3d 对象 —— 这套系统被称作 dib-r 。

(题图 via techspot)

dib-r 的全称是“基于可微分插值计算的渲染器”,底层由 pytorch 机器学习框架构建。在本周于温哥华举办的年度神经信息处理系统会议上,英伟达研究团队介绍了他们的最新进展。

该框架的工作原理,几乎是与 gpu 的日常工作反过来干。它需要分析 2d 图像,然后形成一个高保真的 3d 对象,包括形状、纹理、颜色和照明。

编解码器的体系结构,会从多变球形开始,并使用 2d 图像中给定的信息,对其进行变形处理。值得一提的是,该流程仅需 1 / 10 秒。

若使用单个英伟达 v100 gpu 进行训练,需要对神经网络展开为期 2 天的训练。若使用其它 gpu 进行训练,更需要耗费数周的时间。

在对其投喂了包含鸟类图片的多个数据集之后,dib-r 能够在给出单个图像时,准确地创建 3d 模型。

不过论文合著者 jun gao 表示,该系统还可将任何 2d 图像渲染为 3d 模型:“实际上,这是有史以来的第一次,您几乎可以拍摄任何 2d 图像,并预测相关的 3d 属性”。

研究人员认为,该系统可用于自主式机器人的深度感知应用,从而增强其在现实环境中工作时的安全性和准确性。通过这样的三维化处理,机器人能够更好地导航、以及操纵其需要处理的对象。

据悉,英伟达已将 dib-r 添加到其 3d 深度学习的 pytorch github 库中(kaolin),以帮助研究人员加速 3d 深度学习实验。


上一篇:南国都市报副总编辑胡续发:二三线传统媒体需打造拳头产品突围
下一篇:干嘛要沾惹这两位?格斗狂人点评两位圈内大咖,被众骂或人设崩塌