Subjects: cs.CV
1.SD4Match: Learning to Prompt Stable Diffusion Model for Semantic Matching
标题：SD4Match：学习促进语义匹配的稳定扩散模型
作者：Xinghui Li, Jingyi Lu, Kai Han, Victor Prisacariu
文章链接：https://arxiv.org/abs/2310.17569
项目代码：https://rl-at-scale.github.io/
摘要：
在本文中，我们解决了跨图像对匹配语义相似的关键点的挑战。现有研究表明，稳定扩散（SD）内 UNet 的中间输出可以作为此类匹配任务的鲁棒图像特征图。我们证明，通过采用基本的即时调整技术，可以利用稳定扩散的固有潜力，从而比以前的方法显着提高准确性。我们进一步引入了一种新颖的条件提示模块，该模块根据输入图像对的局部细节进行提示，从而进一步提高性能。我们将我们的方法指定为 SD4Match，是语义匹配稳定扩散的缩写。SD4Match 对 PF-Pascal、PF-Willow 和 SPair-71k 数据集的综合评估表明，它为所有这些数据集的准确性树立了新的基准。特别是，SD4Match 在具有挑战性的 SPair-71k 数据集上比之前最先进的技术高出 12 个百分点。
Subjects: cs.CL
2.Zephyr: Direct Distillation of LM Alignment
标题：Zephyr：LM 对准的直接蒸馏
作者：Lewis Tunstall, Edward Beeching, Nathan Lambert, Nazneen Rajani, Kashif Rasul, Younes Belkada, Shengyi Huang
文章链接：https://arxiv.org/abs/2310.16944
项目代码：https://github.com/huggingface/alignment-handbook
摘要：
我们的目标是产生一个更小的、符合用户意图的语言模型。先前的研究表明，在较大的模型上应用蒸馏监督微调（dSFT）可以显着提高任务准确性；然而，这些模型并不一致，即它们不能很好地响应自然提示。为了提炼这个属性，我们尝试使用来自人工智能反馈（AIF）的偏好数据。从按教师模型排序的输出数据集开始，我们应用蒸馏直接偏好优化（dDPO）来学习意图一致性显着改善的聊天模型。该方法只需要几个小时的训练，在微调过程中不需要任何额外的采样。最终结果 Zephyr-7B 为 7B 参数模型设定了最先进的聊天基准，并且不需要人工注释。特别是，MT-Bench 上的结果表明 Zephyr-7B 超越了基于 RLHF 的最佳开放访问模型 Llama2-Chat-70B。该系统的代码、模型、数据和教程可从此 https URL 获取。
3.GraphGPT: Graph Instruction Tuning for Large Language Models
标题：GraphGPT：大型语言模型的图指令调优
作者：Jiazheng Xu, Xiao Liu, Yuchen Wu, Yuxuan Tong, Qinkai Li, Ming Ding, Jie Tang, Yuxiao Dong
文章链接：Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin Su, Suqi Cheng, Dawei Yin, Chao Huang
项目代码：https://graphgpt.github.io/
摘要：
图神经网络（GNN）通过图节点之间的递归信息交换和聚合来实现高级图结构理解。为了提高模型的稳健性，自监督学习（SSL）已成为一种有前途的数据增强方法。然而，现有的生成预训练图嵌入的方法通常依赖于对特定下游任务标签的微调，这限制了它们在标记数据稀缺或不可用的场景中的可用性。为了解决这个问题，我们的研究重点是提高图模型在具有挑战性的零样本学习场景中的泛化能力。受大型语言模型（LLM）成功的启发，我们的目标是开发一种面向图的 LLM，即使没有下游图数据中的任何可用信息，也可以在不同的下游数据集和任务中实现高度泛化。在这项工作中，我们提出了 GraphGPT 框架，该框架将法学硕士与图结构知识与图指令调整范例结合起来。我们的框架包含一个文本图形基础组件，以在文本信息和图形结构之间建立联系。此外，我们提出了一种双阶段指令调整范例，并配有轻量级图形文本对齐投影仪。该范例探索了自监督图结构信号和特定于任务的图指令，以指导法学硕士理解复杂的图结构并提高其在不同下游任务中的适应性。我们的框架在监督和零样本图学习任务上进行了评估，展示了卓越的泛化能力并超越了最先进的基线。
