首先概述几种主要的架构：
- Encoder-only：以谷歌的 BERT 为代表。
- Encoder-Decoder：以谷歌的 T5、Meta 的 BART 为代表。
- 基于自回归空白填充的通用语言模型：清华大学的 GLM。
- XLNet：XLNet 在那时是一种通用的自回归预训练方法。通过最大化所有可能的因式分解排列的对数似然，学习双向语境信息；用自回归本身的特点克服 BERT 的缺点；此外，XLNet 还融合了那时最优的自回归模型 Transformer-XL 的思路。
- 前缀语言模型（Prefix Language Model，PrefixLM）结合掩码语言模型和因果语言模型的优点，同时避免它们的不足。相比于 GPT 改进 Attention mask，前缀部分是双向，后面要生成的部分是
