Transformer--编码器和解码器（包含掩码张量，注意力机制，多头注意力机制）

1.编码器介绍

编码器部分: 由N个编码器层堆叠而成，每个编码器层由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接，第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接

连接 模型 对象 规范化 函数

0 人点赞