点击下方卡片，关注「AiCharm」公众号
Subjects: cs.CV
1.Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with Sparse Views
标题：用于稀疏视图神经表面重建的几何引导射线增强
作者：Jiawei Yao, Chen Wang, Tong Wu, Chuming Li
文章链接：https://arxiv.org/abs/2310.05483
摘要：
在本文中，我们提出了一种从稀疏多视图图像重建 3D 场景和对象的新方法。与以前利用场景中的深度或可概括特征等额外信息的方法不同，我们的方法利用多视图输入中嵌入的场景属性来创建精确的伪标签以进行优化，而无需任何事先训练。具体来说，我们引入了一种几何引导方法，通过利用球谐函数来预测新颖的辐射率，同时全面考虑场景中某个点的所有颜色观察结果，从而提高稀疏视图的表面重建精度。此外，我们的管道利用代理几何体并正确处理生成辐射伪标签时的遮挡，这是以前的图像扭曲方法无法避免的。我们的方法被称为光线增强 (RayAug)，无需事先训练即可在 DTU 和 Blender 数据集上取得优异的结果，证明了其在解决稀疏视图重建问题方面的有效性。我们的流程非常灵活，可以集成到其他稀疏视图的隐式神经重建方法中。
2.A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields
标题：一种将虚拟物体插入神经辐射场的实时方法
作者：Keyang Ye, Hongzhi Wu, Xin Tong, Kun Zhou
文章链接：https://arxiv.org/abs/2310.05837
摘要：
我们提出了第一个将刚性虚拟对象插入神经辐射场的实时方法，该方法产生逼真的照明和阴影效果，并允许对对象进行交互式操作。通过利用 NeRF 中有关照明和几何的丰富信息，我们的方法克服了增强现实中对象插入的几个挑战。对于照明估计，我们产生准确、稳健和 3D 空间变化的入射照明，将 NeRF 的近场照明和环境照明相结合，以考虑 NeRF 未覆盖的光源。对于遮挡，我们使用 NeRF 集成的不透明贴图将渲染的虚拟对象与背景场景混合。对于阴影，通过预先计算的球面有符号距离场，我们查询虚拟对象周围任何点的可见性项，并将柔和、详细的阴影投射到 3D 表面上。与最先进的技术相比，我们的方法可以将虚拟对象以卓越的保真度插入到场景中，并且具有进一步应用于增强现实系统的巨大潜力。
3.SweetDreamer: Aligning Geometric Priors in 2D Diffusion for Consistent Text-to-3D
标题：SweetDreamer：在 2D 扩散中对齐几何先验以实现一致的文本到 3D
作者：Weiyu Li, Rui Chen, Xuelin Chen, Ping Tan
文章链接：https://arxiv.org/abs/2310.02596
项目代码：https://sweetdreamer3d.github.io/
摘要：
将 2D 结果从预先训练的扩散模型提升到 3D 世界以生成文本到 3D 本质上是不明确的。2D 扩散模型仅学习与视图无关的先验，因此在提升过程中缺乏 3D 知识，从而导致多视图不一致问题。我们发现这个问题主要源于几何不一致，避免错位的几何结构可以大大缓解最终输出中的问题。因此，我们通过在提升过程中将扩散模型中的 2D 几何先验与明确定义的 3D 形状对齐来提高一致性，从而解决绝大多数问题。这是通过将 2D 扩散模型微调为视点感知并生成规范定向 3D 对象的特定于视图的坐标图来实现的。在我们的过程中，仅使用粗略的 3D 信息进行对齐。这种“粗略”对齐不仅解决了几何图形中的多视图不一致问题，而且保留了 2D 扩散模型生成 3D 数据集中看不见的详细且多样化的高质量对象的能力。此外，我们的对齐几何先验（AGP）是通用的，可以无缝集成到各种最先进的管道中，在看不见的形状和视觉外观方面获得高度通用性，同时大大缓解多视图不一致问题。我们的方法代表了一种新的最先进的性能，通过人工评估，一致性率达到 85% 以上，而之前的许多方法只有 30% 左右。我们的项目页面是这个https URL
