PyTorch 3D:深入挖掘深度学习

2020-11-13 11:46:57 浏览数 (1)

Facebook正在缓解3D深度学习的麻烦,一次解决一个问题。去年它发布了Mesh R-CNN,该系统可以从2D形状渲染3D对象。今年它发布了PyTorch3D。

https://pytorch3d.org/

3D深度学习一直是一个尚未开发的领域。有两个因素定义了其不足的区域:

  1. 正确的工具和资源的短缺阻碍了3D学习的研究
  2. 随着计算和存储需求的增长,3D数据输入变得越来越复杂。常规方法无法提供适当的解决方案。

PyTorch3D解决了以上两个不足。它是一个优化的高度模块化的库。

用GitHub的话来说:

“ PyTorch3D通过PyTorch为3D计算机视觉研究提供了有效,可重复使用的组件。”

与传统方法相比,使用PyTorch3D进行3D深度学习要容易得多,而且速度更快,许多AI创新者和研究人员都在支持它。

特征:

PyTorch3D结合了3D对象和深度学习。

它可以执行3D重建,3D推理和包调整。

其主要功能包括:

  • 用于存储和操作三角形网格的数据结构
  • 三角形网格上的出色性能(投影变换,采样,图卷积和损失函数)
  • 差异化的网格渲染器

Facebook AI Research(FAIR)工程师Nikhila Ravi指出了该库的好处:“借助PyTorch3D,研究人员可以输入所有这些功能,并将其与PyTorch中现有的深度学习系统一起使用。它极大地减少了进行3D计划研究所需的时间,这需要大量的专业知识才能开始,希望尝试减少这种准备时间。”

运作:

PyTorch3D旨在与深度学习方法完美融合。

PyTorch3D中的所有运算符:

  • 使用PyTorch张量
  • 可以使用GPU来提高速度
  • 可以处理异构数据的小批量
  • 可以区分

PyTorch3D可以使用启用面和顶点互操作性的网格来构成3D对象。它还可以使用面片张量来批量分解网格的顶点。

它的功能有助于处理3D变换和旋转,并有助于C3DPO的开发,这是一种从训练数据中学习3D形状与图像之间的关联的新方法。

安装:

将PyTorch3D与GPU支持一起使用以获取所有功能。

要安装,请运行:

要在PyTorch3D之上进行开发或做出贡献,将需要运行linter和测试。

对于文档教程,将需要matplotlib。

要安装matplotlib和黑色,scikit图像,flake8,tdqm,isort,jupyter,plotly和imageio,请运行:

输出:

人工智能爱好者一直在发布PyTorch3D的出色输出。

未来:

PyTorch3D的引入是AI研究的一项突破,并将为许多发现铺平道路。

它还将帮助解决AI挑战,例如使自动驾驶汽车了解周围物体的位置或机器人抓地力。

0 人点赞