Bert Pytorch 源码分析：五、模型架构简图

2023-10-13 09:24:19 浏览数 (1)

注意力层：

代码语言：javascript复制

输入 -> LLQ -> @ -> /√ES  -> softmax -> @ -> LLO -> Dropout -> 输出
 |            ↑                        ↑
  ---> LLK ---                         |
 |                                     |
  ---> LLV ----------------------------

FFN 层：

代码语言：javascript复制

输入 -> LL1 -> GELU -> Dropout -> LL2 -> 输出

TF 层：

代码语言：javascript复制

输入 -> LN1 -> 注意力层 -> Dropout1 -> ⊕ -> 中间量
 |                                   ↑  
  -----------------------------------

代码语言：javascript复制

中间量 -> LN2 -> PFF 层 -> Dropout2 -> ⊕ -> Dropout3 -> 输出
  |                                   ↑
   -----------------------------------

Bert编码器：

代码语言：javascript复制

输入 -> 嵌入层 -> TF 层 x NL -> 输出

Bert 解码器：

代码语言：javascript复制

输入 -> LL -> softmax -> 输出

pytorch es 架构模型源码分析

0 人点赞