CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Learning Defect Prediction from Unrealistic Data
标题：从不切实际的数据中学习缺陷预测
作者：Kamel Alrashedy, Vincent J. Hellendoorn, Alessandro Orso
文章链接：https://arxiv.org/abs/2311.00931
摘要：
预训练的代码模型，例如 CodeBERT 和 CodeT5，已成为代码理解和生成任务的流行选择。此类模型往往很大，需要相应数量的训练数据，而这些数据很少可用于下游任务。相反，使用更大但不太现实的数据集来训练模型已经变得很流行，例如带有人工注入错误的函数。然而，在此类数据上训练的模型往往只在相似的数据上表现良好，而在现实世界的程序上表现不佳。在本文中，我们推测这种差异源于分散注意力的样本的存在，这些样本使模型偏离了现实世界的任务分布。为了研究这个猜想，我们提出了一种方法，用于根据学习到的表示来识别这些大型但不切实际的数据集的子集，这些子集与现实数据集中的示例最相似。我们的方法使用神经模型提取现实世界和人工程序的高维嵌入，并根据人工样本与最近的现实世界样本的距离对人工样本进行评分。我们表明，仅对最近的、代表性最相似的样本进行训练，同时丢弃表示完全不相似的样本，可以在两个代码理解任务上的两个流行的预训练代码模型中产生一致的改进。我们的结果很有希望，因为它们表明，在不切实际的数据集的代表性子集上训练模型可以帮助我们利用大规模合成数据生成的力量，同时保持下游任务性能。最后，我们强调了应用人工智能模型来预测现实应用程序中的漏洞和错误的局限性
2.DINO-Mix: Enhancing Visual Place Recognition with Foundational Vision Model and Feature Mixing
标题：DINO-Mix：通过基础视觉模型和特征混合增强视觉位置识别
作者：Gaoshuang Huang, Yang Zhou, Xiaofei Hu, Chenglong Zhang, Luying Zhao, Wenjian Gan, Mingbo Hou
文章链接：https://arxiv.org/abs/2311.00230
项目代码：https://github.com/microsoft/AdaM
摘要：
利用视觉地点识别 (VPR) 技术来确定公开图像的地理位置是现实世界 VPR 应用的一个紧迫问题。尽管目前大多数VPR方法在理想条件下取得了良好的效果，但它们在以光照变化、季节变化和移动物体引起的遮挡为特征的复杂环境中的表现普遍不能令人满意。在本研究中，我们利用 DINOv2 模型作为主干网络进行修剪和微调，以提取鲁棒的图像特征。我们提出了一种名为 DINO-Mix 的新型 VPR 架构，它将基础视觉模型与特征聚合相结合。该架构依赖于基础视觉模型强大的图像特征提取能力。我们采用基于 MLP-Mixer 的混合模块来聚合图像特征，从而产生全局鲁棒且可泛化的描述符，从而实现高精度 VPR。我们通过实验证明，所提出的 DINO-Mix 架构显着优于当前最先进的 (SOTA) 方法。在具有光照变化、季节变化和遮挡的测试集中（Tokyo24/7、Nordland、SF-XL-Testv1），我们提出的 DINO-Mix 架构分别实现了 91.75%、80.18% 和 82% 的 Top-1 准确率。与 SOTA 方法相比，我们的架构平均准确率提高了 5.14%。
3.Learning to Design and Use Tools for Robotic Manipulation
标题：学习设计和使用机器人操作工具
作者：Ziang Liu, Stephen Tian, Michelle Guo, C. Karen Liu, Jiajun Wu
文章链接：https://arxiv.org/abs/2311.00754
项目代码：https://robotic-tool-design.github.io/
摘要：
当受到自身形态的限制时，人类和某些动物物种具有利用环境中的物体来完成不可能完成的任务的非凡能力。类似地，机器人也可以通过工具的使用来解锁一系列附加功能。最近通过深度学习联合优化形态和控制的技术可有效设计运动代理。但是，虽然输出单一形态对于运动有意义，但根据当前的任务目标，操作涉及多种策略。操纵代理必须能够为不同的目标快速构建专用工具的原型。因此，我们建议学习设计师策略，而不是单一设计。设计器策略以任务信息为条件，并输出有助于解决任务的工具设计。然后，设计条件控制器策略可以使用这些工具执行操作。在这项工作中，我们通过引入强化学习框架来共同学习这些政策，朝着这一目标迈出了一步。通过模拟操作任务，我们表明该框架在多目标或多变量设置中比先前的方法具有更高的样本效率，可以执行零样本插值或微调来解决以前未见过的目标，并允许在复杂性之间进行权衡在实际约束下设计和控制政策。最后，我们将学习到的策略部署到真实的机器人上。请参阅我们的补充视频和网站（https URL）以获取可视化效果。
