Prompt-Tuning方法
1 NLP任务四种范式
目前学术界一般将NLP任务的发展分为四个阶段，即NLP四范式：
- 第一范式：基于「传统机器学习模型」的范式，如TF-IDF特征 朴素贝叶斯等机器算法；
- 第二范式：基于「深度学习模型」的范式，如word2vec特征 LSTM等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少；
- 第三范式：基于「预训练模型 fine-tuning」的范式，如Bert fine-tuning的NLP任务，相比于第二范式，模型准确度显著提高，模型也随之变得更大，但小数据集就可训练出好模型；
- 第四范式：基于「预训练模型 Prompt 预测」的范式，如Bert Prompt的范式相比于第三范式，模型训练所需的训练数据显著减少。
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
