摘要:本篇从理论到实践介绍了NLP场景下常用的对比学习模型SimCSE。首先介绍了业务背景,经过一系列调研NLP场景中简单有效的对比学习模型是SimCSE;然后重点介绍了SimCSE模型,包括评估对比学习模型的两个指标alignment和uni...
摘要:本文是广告系列第二十篇,主要介绍了GPT系列模型的发展流程。首先介绍了NLP中超强但不秀的GPT模型。GPT属于典型的预训练+微调的两阶段模型,将Transformer作为特征抽取器,使用单向语言模型,属于NLP中非常重要的工作,同...
摘要:本篇主要分享基于BERT实现线上推理服务的FastBERT模型。首先讲了下为啥要用FastBERT模型。因为NLP数据集中不同样本的识别难度不同,厚重的模型会存在过度计算的问题,而轻量模型则很难识别复杂样本,FastBERT模型提出...