目录
Transformer模型注意力机制
注意力机制（Attention Mechanism）
层归一化（Layer Normalization）
层归一化的作用
Transformer模型注意力机制
中，有几个关键的公式和概念需要解释，包括注意力机制（Attention Mechanism）和层归一化（Layer Normalization）。以下是详细的解释：
注意力机制（Attention Mechanism）
注意力机制是Transformer模型的核心部分，它允许模型在处理输入序列时，对不同位置的信息给予不同的关注度。在Transformer中，通常使用的是自注意力机制（Self-Attention），它允许序列中的每个元素都与其他元素进行交互。
层归一化（Layer Normalization）
层归一化是Transformer模型中用于加速训练和提高稳定性的一个关键技术。它通过在每个样本内部的不同神经元之间进行归一化，来消除特征之间的尺度差
层归一化的作用
- 加速训练：通过归一化，不同特征之间的尺度差异被消除，这有助于梯度下降算法更快地收敛。
- 提高稳定性：归一化可以减少内部协变量偏移（Internal Covariate Shift），即网络层之间输入分布的变化，从而提高训练的稳定性。
- 适应NLP任务：在NLP任务中，句子长度可能不同，导致不同样本的输入特征数量不一致。层归一化在每个样本内部进行，因此能够更好地处理这种差异。
