Meta终于发布Llama 3开源模型，开源社区终于要迎来自己的GPT-4模型了吗？
那到底Llama 3优化了什么地方？真的会有这么强的能力，可以追上GPT4吗？因此，本文初体验了一下Llama 3的能力，带大家深入了解一下新的Llama模型
在线使用
目前想要体验Llama 3模型，有两个网址，一个是Meta自己官方的网址，另一个是huggingchat搭载。
Meta网址
https://www.meta.ai/
而且像ChatGPT一样，它也可以不需要任何账号就可以与之对话
然而，目前Llama 3不太支持中文回复。幸运的是，它已经在github上公布了开源代码，为开发者提供了训练的基础。可以基于开源代码，打造出中文社区的“GPT4”大模型，让沟通变得更加流畅、生动。
Huggingchat网址
另一个是huggingchat网址：
https://huggingface.co/chat/
这个网址不需要科学上网，在国内也可以访问
在huggingchat中，模型上可以选择Llama 3进行对话
LLama 3的初体验
数学计算
Q:一个三角形,如果一条边长为4cm,另一条边长为7cm,则第三条边最长可能是多少厘米?（答案为正整数）
Llama 3给出的答案范围是在“3< c < 11”，然后又由于是最长正整数，所以是“10cm”，推理是正确的。
逻辑推理
Q：赵三的父母结婚的时候，为什么没有邀请自己参加
在伦理逻辑上，模型知道了“赵三”是他们的孩子，所以不可能参加他们的婚礼
赵三的父母结婚就意味着他们要结婚了，也就是说赵三是他们的孩子。但如果赵三是他们的孩子，那么他就不能参加自己父母的婚礼了，因为……好吧，他还不存在！
代码能力
Q：利用huggingface调用LLAMA大模型代码。
首先Llama 3会让你安装相关的依赖库：
然后还贴心的给出每个步骤需要干什么，从实现角度看，给出了具体的调用Llama模型主干，但是数据并没有给我们准备，还是不够完整。
网络热梗
但是对于中文的网络热梗是无能为力了，问他关于“花西子币”是什么，直接开始胡说八道了
Llama 3升级了什么能力？
这里总结了Llama 3到底改进了哪些地方：
Meta的新版本Llama 3模型在各项指标上均表现出显著提升，特别是在人工评估上，效果优于其他模型
Llama 3模型采用decoder-only架构，词汇表扩大至128k，提升了推理效率，并支持输入8k token
Llama 3模型的改进在于预训练方法的优化，降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性。
在同等参数量大小的情况下，Llama 3的效果远超其他模型，如Gemma和Mistral。
Llama 3模型的预训练数据集扩大至15T，覆盖30多中非英语语言，有助于提高模型的多语言应用能力。
目前，Llama 3的400B模型正在训练中，预计将取得更好的效果。
各种数据集上效果提升明显
Meta的新版本Llama的8B和70B模型，对比于旧版本有一个重大的提升。改进了预训练的方法后，新的模型大大降低了错误拒绝率，改善了一致性，并增加了模型响应的多样性。
在上图中，同样规模下经过指令微调的模型，Llama 3比Gemma和Mistral模型在不同数据集上的效果都要好。
同时Meta还开发了一套自己的人类评估集，该评估集包含 1,800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。在这个集合上，对比了Claude Sonnet、GPT-3.5、Mistral等模型，其取得的效果都比其他模型要好。
从上图可以得知，在人工评估上更偏好于Llama3模型的回答。
同时Llama 3在没有经过指令微调，只用其预训练模型就比其他模型的效果要好：
一句话就是，在目前同等参数量大小的情况下，Llama3的效果远超其他模型。并且Meta还说目前正在训练400B的模型，如果到时候也开源了，效果有多炸裂是值得期待的。
模型结构
Llama 3模型还是采用decoder-only架构的transformer进行训练。与Llama 2相比，有以下几个变化：，
词汇表扩大到了128k：更高效地编码语言，从而大大提高了模型性能。
提升推理效率：在8B和70B大小的数据上都采用了分组查询注意力（GQA），来提升推理速度
支持输入8k token
训练数据
预训练数据继续扩大：训练数据上，用了超过15T的token进行预训练，比之前的Llama 2模型的数据集大了7倍
覆盖30多中非英语语言：为了应对未来多语言应用场景的需求，Llama 3预训练数据集的5%以上由高质量的非英语数据组成
利用了Llama 2生成一些高质量的文本数据，来提供给新模型的预训练
Llama 3超大杯正在训练
Meta目前只发布了8B和70B的模型，超大杯400B模型正在训练中。Meta团队把4月15日训练的检查点模型拿出来进行评估，发现已经有较大的提升效果：
这里总结了目前主流模型和这个Llama 3的400B模型的效果对比，可以发现还没有训练好的Llama 3已经与主流的一些大模型在得分上不相上下了，可以期待一波完整版的Llama 3-400B模型。
数据集
Llama3-400B
Claude 3-Opus
GPT4-turbo
Gemini Ultra
MMLU
86.1
86.8
86.5
83.7
GPQA
48.0
50.4
49.1
-
HumanEval
84.1
84.9
87.6
74.4
MATH
57.8
60.1
72.2
53.2
总结
目前Llama 3在很多场景上都有应用，包括也集成了图像生成等多模态技术，生成的图片可以随时分享给你的好友
如果未来，Llama 3真的能够把400B的模型开源出来，那到时候Meta可能才是真正的“OpenAI”
以上就是本期的所有内容了，我是leo，我们下期再见~
