随着AI技术的飞速发展，大语言模型如LLaMA和Mistral等已成为行业内的热门话题。然而，创建全新的大语言模型不仅成本高昂，而且可能导致新旧模型之间的能力冗余。为了解决这一问题，中山大学和腾讯AI Lab的研究者们带来了一个创新性的解决方案——FuseLLM。
FuseLLM的独特之处在于它能够“融合多个异构大模型”。这不同于传统的模型集成，后者在推理时需要同时运行多个大模型，也不同于权重合并，后者要求合并的模型具有相同结构。FuseLLM能够巧妙地提取不同大模型的知识和能力，然后通过轻量级的持续训练，将这些知识和能力融合到一个全新的大语言模型中。
想象一下，如果我们能够结合多个大语言模型的优点，创建一个更强大、更全面的模型，那将是多么令人兴奋的事情。而FuseLLM正是朝着这个方向迈出的一大步。它不仅提高了模型的效率，还降低了成本，为AI技术的发展开辟了新的道路。
这一创新性的研究为我们展示了大语言模型未来的可能性，也让我们对AI技术的未来充满了期待。
如果有其他疑问，欢迎朋友关注留言！
FuseLLM原理大揭秘：轻松融合多个大语言模型！
传统模型融合方法如集成和权重合并，要么需要同时部署多个模型，要么要求模型结构相同。而FuseLLM则另辟蹊径，从概率分布角度出发，让不同LLM为同一输入文本生成的概率分布反映其内在知识。这样，FuseLLM就能轻松提取并转移这些LLM的集体知识和个体优势。
实现上，FuseLLM先对齐不同LLM的标记化，再融合它们生成的概率分布。在持续训练过程中，FuseLLM着重减小目标LLM与源LLM之间的概率分布差异。这样，目标LLM就能逐渐吸收源LLM的知识和能力。
为了验证FuseLLM的有效性，研究者们在多个开源LLM上进行了实验，包括Llama-2、OpenLLaMA和MPT等。结果显示，在推理、常识和代码生成等42个任务中，FuseLLM训练的目标模型在大多数任务上都优于源LLM和基线模型。
此外，研究者们还模拟了具有相同架构但功能不同的LLM。通过在这些领域特定的语料库上持续训练单个基础模型，他们发现FuseLLM在结合这些结构相同的LLM的能力方面表现出色，优于传统的集成和权重合并方法。
Huggingface Models 上发布了 FuseLLM-7B ，它是三个流行的开源 LLMs 的融合，它们具有独特的架构和功能：Llama-2-7B、OpenLLaMA-7B 和 MPT-7B。
FuseLLM-7B 模型地址：https://huggingface.co/bartowski/FuseLLM-7B-exl2
