Subjects: cs.CV
1.Motif: Intrinsic Motivation from Artificial Intelligence Feedback
标题：主题：人工智能反馈的内在动机
作者：Martin Klissarov, Pierluca D'Oro, Shagun Sodhani, Roberta Raileanu, Pierre-Luc Bacon, Pascal Vincent, Amy Zhang, Mikael Henaff
文章链接：https://arxiv.org/abs/2310.00166
项目代码：https://rl-at-scale.github.io/
摘要：
在没有先验知识的情况下探索丰富的环境并评估一个人的行为是非常具有挑战性的。在本文中，我们提出了 Motif，一种将来自大型语言模型（LLM）的先验知识与代理接口的通用方法。Motif 的理念是为法学硕士奠定决策基础，而不要求他们与环境交互：它引出法学硕士对成对标题的偏好，以构建内在奖励，然后用于通过强化学习来训练智能体。我们评估 Motif 在具有挑战性、开放式和程序生成的 NetHack 游戏中的表现和行为。令人惊讶的是，通过仅学习最大化其内在奖励，Motif 比直接训练以最大化分数本身的算法获得了更高的游戏分数。当将 Motif 的内在奖励与环境奖励相结合时，我们的方法显着优于现有方法，并且在没有演示就无法取得进展的任务上取得了进展。最后，我们表明 Motif 主要生成直观的人类行为，可以通过提示修改轻松控制这些行为，同时可以根据 LLM 大小和提示中给出的信息量进行良好扩展。
2.Woodpecker: Hallucination Correction for Multimodal Large Language Models
标题：啄木鸟：多模态大语言模型的幻觉校正
作者：Shukang Yin, Chaoyou Fu, Sirui Zhao, Tong Xu, Hao Wang, Dianbo Sui, Yunhang Shen, Ke Li, Xing Sun, Enhong Chen
文章链接：https://arxiv.org/abs/2310.16045
项目代码：https://github.com/BradyFU/Woodpecker
摘要：
幻觉是笼罩在快速发展的多模态大语言模型（MLLM）上的一个大阴影，指的是生成的文本与图像内容不一致的现象。为了减轻幻觉，现有的研究主要采用指令调整的方式，需要用特定的数据重新训练模型。在本文中，我们开辟了一条不同的道路，引入了一种名为 Woodpecker 的免训练方法。就像啄木鸟治愈树木一样，它从生成的文本中挑选并纠正幻觉。具体来说，啄木鸟由五个阶段组成：关键概念提取、问题制定、视觉知识验证、视觉主张生成和幻觉纠正。以后补救方式实施，Woodpecker 可以轻松地为不同的 MLLM 提供服务，同时可以通过访问五个阶段的中间输出进行解释。我们对啄木鸟进行了定量和定性评估，并展示了这种新范式的巨大潜力。在 POPE 基准上，我们的方法比基线 MiniGPT-4/mPLUG-Owl 的准确度提高了 30.66%/24.33%。源代码在此 https URL 发布。
3.Who's Harry Potter? Approximate Unlearning in LLMs
标题：哈利·波特是谁？LLMs的近似忘却
作者：Ronen Eldan, Mark Russinovich
文章链接：https://arxiv.org/abs/2310.16045
摘要：
大型语言模型（LLM）是在通常包含受版权保护的内容的大量互联网语料库上进行训练的。这给这些模型的开发者和用户以及原始作者和出版商带来了法律和道德挑战。在本文中，我们提出了一种新技术，可以从法学硕士中取消学习训练数据的子集，而无需从头开始重新训练。我们在从 Llama2-7b 模型（Meta 最近开源的生成语言模型）中忘记哈利波特书籍的任务中评估了我们的技术。虽然该模型需要超过 184K GPU 小时进行预训练，但我们表明，在大约 1 GPU 小时的微调中，我们有效地消除了模型生成或回忆哈利波特相关内容的能力，而其在常见基准测试（例如 Winogrande、 Hellaswag、arc、boolq 和 piqa）几乎不受影响。我们在 HuggingFace 上公开我们的微调模型以供社区评估。据我们所知，这是第一篇提出一种有效的生成语言模型遗忘技术的论文。我们的技术由三个主要组成部分组成：首先，我们使用一个强化模型，该模型在目标数据上进行了进一步训练，通过将其逻辑与基线模型的逻辑进行比较，来识别与未学习目标最相关的标记。其次，我们用通用对应项替换目标数据中的特殊表达式，并利用模型自身的预测为每个标记生成替代标签。这些标签旨在近似尚未在目标数据上进行训练的模型的下一个标记预测。第三，我们在这些替代标签上对模型进行微调，只要提示上下文，就会有效地从模型的内存中删除原始文本。
