CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Neural Lithography: Close the Design-to-Manufacturing Gap in Computational Optics with a 'Real2Sim' Learned Photolithography Simulator
标题：神经光刻：利用“Real2Sim”学习光刻模拟器缩小计算光学领域从设计到制造的差距
作者：Cheng Zheng, Guangyuan Zhao, Peter T.C. So
文章链接：https://arxiv.org/abs/2309.17343
项目代码：https://neural-litho.github.io/
摘要：
我们引入神经光刻来解决计算光学中的“设计到制造”差距。具有较大设计自由度的计算光学器件可实现超越传统光学器件的先进功能和性能。然而，现有的设计方法常常忽视制造过程的数值建模，这可能导致设计和制造的光学器件之间出现显着的性能偏差。为了弥补这一差距，我们首次提出了一种完全可微分的设计框架，该框架将预先训练的光刻模拟器集成到基于模型的光学设计循环中。我们的光刻模拟器将物理信息建模和数据驱动训练相结合，使用实验收集的数据集，作为设计过程中制造可行性的调节器，补偿光刻过程中引入的结构差异。我们通过计算光学中的两个典型任务展示了我们方法的有效性，其中我们使用双光子光刻系统设计和制造全息光学元件（HOE）和多级衍射透镜（MDL），展示了改进的光学性能特定于任务的指标。
2.Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video(CVPR 2023)
标题：Point-DynRF：单目视频中基于点的动态辐射场
作者：Byeongjun Park, Changick Kim
文章链接：https://arxiv.org/abs/2310.09647
摘要：
动态辐射场已成为从单目视频生成新颖视图的一种有前途的方法。然而，以前的方法仅在相邻输入帧之间强制动态辐射场的几何一致性，使得难以表示全局场景几何形状并且在时空远离输入相机轨迹的视点处退化。为了解决这个问题，我们引入了基于点的动态辐射场（textbf{Point-DynRF}），这是一种新颖的框架，其中全局几何信息和体积渲染过程分别由神经点云和动态辐射场进行训练。具体来说，我们直接从几何代理重建神经点云，并使用我们提出的损失优化辐射场和几何代理，使它们能够相互补充。我们通过 NVIDIA 动态场景数据集和几个因果捕获的单目视频剪辑进行实验来验证我们方法的有效性。
3.OmniControl: Control Any Joint at Any Time for Human Motion Generation
标题：OmniControl：随时控制任何关节以生成人体运动
作者：Yiming Xie, Varun Jampani, Lei Zhong, Deqing Sun, Huaizu Jiang
文章链接：https://arxiv.org/abs/2310.08580
项目代码：https://neu-vi.github.io/omnicontrol/
摘要：
我们提出了一种名为 OmniControl 的新颖方法，用于将灵活的空间控制信号合并到基于扩散过程的文本条件人体运动生成模型中。与之前只能控制骨盆轨迹的方法不同，OmniControl 可以仅用一种模型在不同时间在不同关节上整合灵活的空间控制信号。具体来说，我们提出了分析空间引导，以确保生成的运动能够严格符合输入控制信号。同时，引入真实感引导来细化所有关节，以产生更连贯的运动。空间引导和真实感引导都是必不可少的，并且它们对于平衡控制精度和运动真实性具有高度互补性。通过将它们组合起来，OmniControl 生成逼真、连贯且符合空间约束的运动。HumanML3D 和 KIT-ML 数据集上的实验表明，OmniControl 不仅在骨盆控制方面比最先进的方法取得了显着改进，而且在合并其他关节的约束时也显示出了有希望的结果。
