1. 碎碎念
大概是两年前，跟百度的nlp组，参与合作过Ernie在对话系统上的应用。
问题其实很多，模型训练慢，一个月迭代一次很正常（现在做业务，两周就要有一轮迭代），显卡内存动不动就给爆了。
最后在业务上，效果提升也不明显。
一方面是个人技术菜，没利用好。另一方面，线上的lstm模型，已经喂了几百万/千万，各种方式清洗过的质量不错的样本（大力出奇迹），基线其实很高了。
并且infer非常慢，对话系统对实时性要求又高，只能离线在别的地方用（当时蒸馏这个做法还不流行）。
但我依然震惊了，因为它只用了人工标注的几万高准样本。而我们之前是花了几个月的时间，各种洗样本。
人家用比你少的多的样本，一个月顶你几个月，这还不够屌么。
所以，我当时写的nlp预训练模型笔记中，称赞bert为集大成者。觉得在预训练这块，像他这样突的突破性进展，短期内是不会有了。（GPT当时做的其实挺不错的，但开源速度太慢了！）https://zhuanlan.zhihu.com/p/91158598
两年过去了，bert的各种魔改依然漫天飞。有很多人做了很棒的尝试，但现在看来，大框架还是没有突破。
之所以想重新写一篇，关于nlp预训练的综述，是因为这篇综述——pre-trainned models: past, present and future。
整体框架，各个方向的概括，来龙去脉讲的很清楚，有种看历史书的感觉，也学了不少新知识。
一共45页，引用就13页，引用的论文的作者一共几千人，就是这几千人一步步推动着预训练走到了现在。
2. 预训练在nlp带来的变化
在还用LR，GBDT做文本分类，CRF做序列标注的年代。
样本的量级并没有那么重要，因为参数的限制，导致几十万跟几百万的样本对模型带来的提升并不明显。当时提升效果的秘诀是，人工看看模型特征权重，针对性的把样本调整下，特征改改。
但这种工作，相信我，做起来是真的，真的很无聊。
Rnn,LSTM出现后，当时我们组有个大佬，hi的签名是——大力出奇迹。
虽然当时ResNet这种技术还没出现，神经网络无法做深，基本上就几层。但已有的参数量，已经足够支撑百万/千万级的样本学习了。
并且根据当年的经验，百万/千万级别的样本，准确率不用很高，最后效果也能很不错。
很自然，我们当时的工作从调特征的，变成洗样本的。当年洗样本花样老多了，核心思路就是靠各种外部知识，知识词典（当时图谱还不流行），搜索query等。（当然也很无聊）
还有什么用active learning挖掘高质量样本去标注，但在当时的场景下，效率贼低。
因为当时nn的特点，几万高准人工标注样本，大概率是比不上人工清洗的几百万准确率一般的样本。
但BERT出来后世界就变了，几万高准人工标注样本，大概率能跟几百万准确率一般的样本持平，如果样本分布合理，甚至能更好。
所以有了BERT后，nlp的工作流程就变成这样的了。
没样本，就靠文法规则快速撸一个基线。最好是跟pm，外包，后端搞一个规则框架。Pm负责监督外包归纳文法规则，后端负责规则框架的实现，算法负责整体框架的设计。
这样pm得到了效果提升，后端实现了一个技术框架，你等样本标够了入场做模型就好，没有人受伤的世界达成了。
如果是大公司，那就可以找别的部门/中台，蹭现成的接口呗。当然由于是通用接口，效果大概率不会特别好，至于提针对性优化，那就慢慢等吧。
于此同时，找外包定规则，标样本，等标注了几万还不错的样本后。上albert做个还不错的基线，耗时要求高就蒸馏一把，耗时要求低那就上线。
正常情况下，一年拿上百万标样本是很合理的，有钱就标个千万的，反正样本多多益善。至于没钱怎么办？业务部门，百万都拿不出来，那还是先别做算法了。。
这时，搞搞对抗样本，active learning挖掘高质量样本，也就更make sense了。
3. BERT/GPT出现的先觉条件
就跟相对论的出现离不开黎曼几何等技术积淀。BERT/GPT的出现，也是基于很多技术沉淀。
3.1 transfer learning
高中毕业的人学相对论，大概率看不懂，但大受震撼。小学毕业的人去学，脑子聪明点，估计第二天就能想到N种方式来推翻相对论。知识的积淀能够帮助你更快的入门新领域，少走弯路。
transfer learning就是做这个的，分成两种，feature transfer和parameter transfer。
「Feature transfer」——万物皆可embedding，把embedding当作一种pre-encode的知识，而新的模型基于这个embedding的基础上训练。2005年这个idea就提出来了，Word2vec就是其经典实现。
「Parameter transfer」——基于一个intuitive的假设，新的目标task和已经学习的task可以共享parameter，如果两个task差别并不大。先把知识学到共享参数中，再拿目标领域的样本，fine-tuning这些共享参数。这个idea也挺早，2004年就提出来了。
Elmo,BERT是基于这两种方法来实现。
有趣的是，parameter transfer15年就成为CV的主流了。而nlp的大规模应用，要等到18/19年。
个人猜测，核心在于样本获取方式的难易度。之前做对话系统的时候，nlp是可以靠引入priori知识来清洗数据。得到准确率还可以的百万/千万级别的样本。这个级别的样本，是能达到浅层神经网络的参数天花板的。在nlp预训练模型无法做深做大的情况下，收益并不明显。
但这篇论文的说法是——文本很难像图片那样构建一个ImageNet这样大规模的数据集合，因为标注文本是要比标注图片难的多。本人主要经验都在对话的nlu上，open-ended or Non-open-ended的nlg经验很少。这个只能说保留意见吧。
3.2 ResNet，越深越好
如何把网络做深，从2012年就开始有人尝试，直到2016年ResNet的出现，给出了一个系统性的解决方案。
这里我单独拉一小节，一个是的确很重要，一个是要承认我当年的无知。
ResNet刚出来的时候，我很不屑一顾，觉得技术实现也不复杂。并且做深了有啥用呢？也就是秀技，没什么实际意义。
但基于此，再结合self-supervised learning，和谷歌做搜索时爬取的万亿级别的无标注文本数据。
BERT就出来了
3.3 self-supervised learning
谷歌搞BERT真的是一个理所应当的事情（当然我老东家百度为啥没搞出来，这我就不知道了），它做搜索爬取的网页数据，大到它当年专门搞了一个hadoop来管理。
这万亿文本肯定是无标注的，同时也包含了很多知识。从这些无标注的数据中抽取知识，就是self-supervised learning。(unsupervised learning自然就是聚类算法，community discovery，anomaly detect)
nlp上最早最出名的self-supervised learning自然就是word2vec，但它学的是word embedding，无法解决word polysemy的问题。
所以，当时的一个思路就是基于RNN/LSTM来做预训练模型，也就是Elmo。但RNN/LSTM身为序列模型，必须要序列训练，无法并行训练加速。
而互联网累积的unlabel数据实在是太多了，几亿算是开胃菜。所以transformer这种非序列模型的好处就体现出来了。当然，transformer也还是慢，因为数据实在太多。所以这篇综述，专门拿了一章来讨论如何提升efficiency。
3.4 Transformer
太经典了，Transformer的论文建议来回看个十遍。
而GPT/BERT之所以选它作为基础模块，是因为当时它们面临两个问题。
第一，几十亿，甚至上百亿的文本带的知识是很多的，需要一个超大的模型，有足够的参数来容纳这些知识。
第二，这个模型框架的训练速度还不能太慢。
Transformer由于借鉴了ResNet的一些操作，保证了参数增加，效果也能跟随提升（当然现在大家发现有点过参数化）。同时相比于序列模型RNN/LSTM，能支持并行训练。比较好的解决了这两个问题，但BERT/GPT使用Transformer的方式略有不同。
「3.4.1 GPT」
GPT是第一个把Transformer和self-supervised pre-training做结合的，但奈何它开源太慢了。
GPT是generative pre-traing，它是语言模型的套路。也就是我知道上文了，然后maximizing the log-likelihood。所以，它的transformer必然是单向的，把下文mask掉，用上文预测下一个词即可。这种框架，天然适合生成式的下游任务。
「3.4.2 BERT」
BERT是随机mask词，MLM(masked language modelinng)，类似完形填空，给了上下文，预测空着的词是什么，好处是上下文的信息都学习到了。
除此之外，还加了一个task——NSP(next sentence prediction)。但根据RoBERTa这篇论文， NSP是relatively useless for the training of bert。
4 GPT/BERT后的优化
两个方向，unified sequence modeling和cognitive-inspired architectures。
4.1 unified sequence modeling
nlp可以分成两种任务，自然语言理解(nlu)和自然语言生成(nlg)。
「GPT毫无疑问是good at nlg」。但对于nlu，intuitively，双向肯定是要比单向好的，因为双向的话你了解的背景知识就更多了么，但改改还是可以在nlu的下游任务用的，效果也不差。毕竟——"what I cannot create, I do not understand"
「BERT在nlu是good at」，但在nlg问题就大了，因为它是双向的，天然和nlg冲突。
一个解决方案就是，nlg的时候用GPT，nlu的时候用BERT，于是皆大欢喜。
但我们有没有办法搞一个unified的预训练模型呢？
「XLNET」——针对BERT的在nlg上的问题，XLNet 在预训练permutate token的顺序，把尾部一定量的词mask掉，然后再用Autoregressive（上一时刻的输出作为下一时刻的输入）这种方式预测被mask的词。
「UniLM」——把单向，双向，seq2seq的目标联合建模。
「GLM」——给定变长mask span，不告诉模型 MASK token 的数量，让模型去生成 mask 掉的 token，第一个在nlg和nlu都达到最优的预训练模型。
「Encoder-Decoder」——在GLM之前，bert的encoder框架，和GPT的decoder框架都无法解决一个问题，fill black with variable lengths。所以，参考翻译搞一个encoder-decoder预训练模型，如MASS, T5, BART。但本身预训练模型就很大了，这直接double。以及encoder-decoder在nlu上的表现一直都不是很好，问题比较多。
4.2 cognitive-inspired architectures
这个方向就比较有意思了，transformer这种框架，是否足够好到模拟人类的认知系统了么？答案是否定的。
所以，有人从认知科学的角度，设计了新的框架。主要是从maintainable working memory和sustainable long-term memory两个角度。而working memory和long-term memory有什么区别，这个建议看认知科学相关的内容来了解。
「maintainable working memory」——transformer这种定长窗口的记忆方式，跟人类的认知记忆差别是蛮大的，LSTM这种可维护式的才比较接近人类认知方式。所以，就有人想着去设计一个可维护的working memory。Transformer-XL通过segment-level recurrence 和相对位置编码，CogQA通过维护一个多跳认知图的方式来实现了一个可维护的working memory。
「sustainable long-term memory」——2019年的一篇论文做了一个实验，发现transformer的feed-forward网络起到了记忆网络的效果。但这个记忆能力始终是有限的，而人类是维护了一个持续多年的long-term memory的。所以，把知识提前编码，要用的时候做替换，有人分别从语料，实体的角度做了一些尝试。以上的方法在开放领域的问答都取得了不错的效果。
4.3 其他工作
一个方向是对mask策略的优化，SpanBERT、开头我说的百度ERNIE、NEZHA、WWM这些都是。另一个方向是把masked-prediction改成更难的，如ELECTRA把MLM替换成了token detection。
当然，以上的这些尝试，至少从我的观察来看，还没有得到工业界的普遍认可，大家还是各种魔改bert到处用。
5. 多种数据源
三个方向，多语言，多模态，知识增强的预训练模型。每个方向都可以单独展开写一篇综述。多语言，多模态我接触很少，这里只能简单写一些个人理解。
5.1 多语言
基于多语言的预训练模型，跟单语言的区别在于，学习任务的设计，对平行语料的利用，以及生成式预训练模型。
「mBERT」——跟bert一模一样的框架，基于100多种语言的样本，用MMLM(multilingual masked language modeling)训练了一个预训练模型。从分析来看，mBERT的确具有一定的cross-lingual能力。
「XLM」——MMLM没法利用平行语料，而在翻译任务中，平行语料是非常重要的。intuitively，平行语料也能更有助于cross-lingual知识的学习。所以，提出了一个TLM task，将两个语义匹配的句子合并为一个，并在这两个部分中随机mask。
「Unicoder」——用了两种新的task。CLWR(cross-linngual word recovery)，通过attention机制，使用target语言的embedding来表示sorce语言的embedding，它的目标是recover source语言embedding，这个task使得模型能够学到不同语言word-level的对其知识。CLPC(corss-linngual paraphrase classification)，把平行语料当作正样本，非平行语料负样本，然后做分类，这个task就学到了sentence-level的对其知识。
「ALM」——从平行语料中，自动切换序列，然后使用 MLM来学习，让模型基于别的语言的context来做预测。
「mBART」——借鉴了DAE(denoising autoencoding)这种经典的生成式task，方式是添加了语言symbol在encoder输入的结尾和decoder输入的开头。
「XNLG」——DAE虽然训练的时候是用多语言，但encoder输入和decoder输出往往都是同一种语言。所以，这个预训练模型提出了XAE(cross-lingual autoencoding)，encoder输入和decoder的输入在XAE就不是同一种语言了
5.2 多模态
小孩子学习的时候，如果文字搭配一些图片，往往能学习的更快，如果能搭配讲解视频，肯定就更快了。
同理，我们把文字，声音，图片，视频一起学习，期望达到更好的效果，就是多模态。
这块可挖的坑是真的多，不同模态的组合，就要针对性设计新的task，故事再好好讲讲，一篇论文就出来了。
但个人感觉吧，语料，计算量，模型框架的不成熟，这个方向短期内做出突破性进展其实挺难的。。但这肯定是未来，因为我们的目标就是让模型越来越像人。
这块个人能力有限，了解太少，就不献丑了，大家有兴趣还是自己看论文吧。
5.3 知识增强型预训练模型
当年还在用lr做文本分类的时候，有一个特征贼好用，叫词典特征。
举个例子，播放xxx，如果xxx是个冷门歌曲，训练样本基本上没见到。那么模型就会困惑这是个电影分类，还是音乐分类呢？
这个时候通过词典特征，告诉模型xxx是首歌，就能解决这个问题。当然，这两年现在大家都不叫词典了，叫知识图谱。
「ERNIE」——举例子，苹果手机评测，bert可能把"手"给随机mask了，但把"苹果手机"mask肯定更合理。但这也有个大坑，就是你需要先把实体识别出来，但实体识别是有准确率的，识别不准的反而是noise。
「Comet」——针对ERNIE的这个问题，直接将结构化知识转化为序列化文本，让模型自己学习对其。
以上都是对结构化知识来进行学习，事实上还有一些用非结构化的知识来一起学习。但是！非结构化数据往往特别脏，如果数据预处理准确率只有80，那么收益甚至可能是负向。
以及发paper的数据往往相对干净一些，业务场景谨慎调研使用。
6. 提升计算速度
三部分，
- system-level optimization
- efficient learning algorithms
- model compression strategies。
6.1 system-level optimization
太偏工程，有兴趣的同学建议自己看论文，不献丑了。
6.2 efficient learning algorithms
「训练方法上的优化」
方法一，ELECTRA，上面说过了，但不太通用
方法二，超大batch，这个是真通用，某个同事用过效果还挺好。参考这篇论文——Large Batch Optimization for Deep Learning: Training BERT in 76 minutes。
方法三，基于transofmer的一些特性，如发现不同层可以share相似的self-attention patterns。所以，可以先训练浅层模型，然后复制以构建深层模型。以及在训练期间删除一些层。
「模型结构上的优化」
魔改transformer，来降低它的复杂度。但这些方法大部分是有实现成本的，尝试前建议谨慎调研。
「个人建议，机器管够的话，直接上超大batch，分布式，氪金使我变强。」
6.3 模型压缩
「参数共享」——albert现在非常流行，它就是通过factorized embedding parameterization和参数共享，显著的降低了模型的参数，却有着跟bert相同甚至更好的效果。但这也说明预训练模型有over-parameterized的问题。
「模型剪枝」——预训练模型会不会有一些useless的部分呢？有人尝试过在训练的时候有选择的drop transformer layer。以及有人研究发现transformer的多头有点冗余，只要一小部分就能有不错的效果。
「知识蒸馏」——参考我之前写的笔记，去年写的应该还没有很老。https://zhuanlan.zhihu.com/p/106810758
「模型量化」——预训练模型经常是16bits或者32bits，最近的实验显示，改成8 bits只对效果有little impact。
7. 解释和理论分析
这一块其实蛮有意思的，四个部分。预训练模型学了什么，预训练模型的鲁棒性，structural sparsity/modularity，以及预训练模型的理论分析。
7.1 预训练模型学到了什么
分成两种知识，语言知识和世界知识。
「语言知识——四种方式来分析」
- 「Representation Probing」, 固定预训练模型的参数，训练一个新的线性层基于预训练的隐层。这是最流行的做法，因为做法很通用。通过分析发现，tokens，chunks，pairwise relations这些知识都学到了
- 「Representation Analysis」，对表示层进行统计分析，例如distances或者similarities。
- 「Attention analysis」，对attention层进行统计分析，跟Representation Analysis类似。
- 「Generation Analysis」，使用语言模型来直接评估不同句子和词的概率分布。有人通过预训练模型来recover syntactic tree，发现效果跟人工设计的schema很接近。
世界知识——知识盲区，先不献丑了，有兴趣的同学看论文。
7.2 Structural Sparsity of PTMs
其实前面几章也提到了，transformer有过参数化的问题。
根据分析，在翻译，摘要抽取，nlu上，多头就有点redundant了。以及low levels of pruning也不会影响下游task的效果。
7.3 预训练模型的理论分析
为何预训练有效果？这里做了两个假设
- 更好的优化，相比于随机初始化，预训练的网络更接近全局最优解。
- 更好的正则化，在预训练模型的test error更好的时候，预训练的training error 不一定比随机模型好，这代表更强的泛化能力。
最后实验结论偏向于第二种假设。
这个笔记写的是真的累。。内容太多了，论文看了好几天，也写了好几天，快五千字了。有兴趣的同学还是建议自己去看看论文。接下来准备写点没那么累的笔记，如召回的离线评估跟在线不一致的问题（偏吐槽），或者热点挖掘。
