Subjects: cs.CV
1.LightSpeed: Light and Fast Neural Light Fields on Mobile Devices
标题：LightSpeed：移动设备上的轻快神经光场
作者：Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jenis
文章链接：https://arxiv.org/abs/2310.16832
项目代码：https://lightspeed-r2l.github.io/website/
摘要：
由于计算能力和存储空间有限，移动设备上的实时新视角图像合成是令人望而却步的。由于体积渲染的计算成本很高，因此在移动设备上使用体积渲染方法（例如 NeRF 及其衍生物）并不合适。另一方面，神经光场表示的最新进展在移动设备上显示出了有希望的实时视图合成结果。神经光场方法学习从光线表示到像素颜色的直接映射。当前选择的光线表示是分层光线采样或普吕克坐标，忽略了经典的光板（两个平面）表示，这是在光场视图之间插值的首选表示。在这项工作中，我们发现使用光板表示是学习神经光场的有效表示。更重要的是，它是一种低维光线表示，使我们能够使用特征网格来学习 4D 光线空间，而特征网格的训练和渲染速度要快得多。虽然主要是针对正面视图设计的，但我们表明，光板表示可以使用分而治之的策略进一步扩展到非正面场景。与以前的光场方法相比，我们的方法提供了卓越的渲染质量，并在渲染质量和速度之间实现了显着改善的权衡。
2.Detecting Pretraining Data from Large Language Models
标题：从大型语言模型中检测预训练数据
作者：Weijia Shi, Anirudh Ajith, Mengzhou Xia, Yangsibo Huang, Daogao Liu, Terra Blevins, Danqi Chen, Luke Zettlemoyer
文章链接：https://arxiv.org/abs/2310.16789
项目代码：https://swj0419.github.io/detect-pretrain.github.io/
摘要：
尽管大型语言模型 (LLM) 得到了广泛部署，但用于训练它们的数据却很少公开。鉴于这些数据的规模令人难以置信，高达数万亿个代币，几乎可以肯定它包含潜在有问题的文本，例如受版权保护的材料、个人身份信息以及广泛报道的参考基准的测试数据。然而，我们目前无法知道这些类型的数据包含哪些以及所占的比例。在本文中，我们研究了预训练数据检测问题：在不知道预训练数据的情况下，给定一段文本和对 LLM 的黑盒访问，我们能否确定模型是否是根据所提供的文本进行训练的？为了促进这项研究，我们引入了一个动态基准 WIKIMIA，它使用模型训练之前和之后创建的数据来支持黄金真相检测。我们还引入了一种新的检测方法 Min-K% Prob，该方法基于一个简单的假设：在 LLM 下，未见过的示例很可能包含一些概率较低的离群单词，而见过的示例不太可能包含如此低概率的单词。Min-K% Prob 可以在不了解预训练语料库或任何额外训练的情况下应用，这与之前需要在与预训练数据相似的数据上训练参考模型的检测方法不同。此外，我们的实验表明，与之前的方法相比，Min-K% Prob 在 WIKIMIA 上实现了 7.4% 的改进。我们将 Min-K% Prob 应用到两个现实场景：受版权保护的书籍检测和受污染的下游示例检测，并发现它是一个始终有效的解决方案。
3.TiC-CLIP: Continual Training of CLIP Models
标题：TiC-CLIP：CLIP 模型的持续训练
作者：Saurabh Garg, Mehrdad Farajtabar, Hadi Pouransari, Raviteja Vemulapalli, Sachin Mehta, Oncel Tuzel, Vaishaal Shankar, Fartash Faghri
文章链接：https://arxiv.org/abs/2310.16226
摘要：
使大型基础模型保持最新数据本质上是昂贵的。为了避免不断重新训练的高昂成本，必须不断训练这些模型。由于缺乏任何大规模的持续学习基准或基线，这个问题变得更加严重。我们引入了第一组用于训练视觉语言模型的网络规模时间连续 (TiC) 基准：TiC-DataCompt、TiC-YFCC 和 TiC-RedCaps，其中包含超过 12.7B 个时间戳图像文本对，跨度 9 年（2014 年- -2022）。我们首先使用我们的基准来策划各种动态评估，以衡量现有模型的时间鲁棒性。我们发现，与 OpenCLIP 存储库中最近训练的模型相比，OpenAI 的 CLIP（使用截至 2020 年的数据进行训练）在 2021--2022 年策划的检索任务中损失了 approx 8% 零样本精度。然后我们研究如何在时间连续数据上有效地训练模型。我们证明，与从头开始重新训练的标准做法相比，一种简单的基于演练的方法可以从最后一个检查点继续训练并重播旧数据，从而减少 2.5times 的计算量。
