机器之心专栏 清华大学、DeepMind等 以 GPT-3 为代表的预训练语言模型的发展,引发对小样本自然语言理解任务的极大关注。各种方法不断发展并展现出日渐强大的小样本自然语言理解性能。然而,来自清华大学、DeepMind 等团...
在我们做一个项目或业务之前,需要了解为什么要做它,比如为什么要做文本分类?项目开发需要,还是文本类数据值得挖掘。
在本文开始以前,首先需要声明的是这篇超详细面经并不是笔者本人的求职笔记,它是笔者学校隔壁实验室22届毕业学弟的面试心路历程和经验心得。由于笔者和这位学弟经常讨论校招求职和职业发展的问题,并且在秋招以前就和他打...
1,请阐述 Transformer 能够进行训练来表达和生成信息背后的数学假设,什么数学模型
既上一篇R-Drop:提升有监督任务性能最简单的方法,很多小伙伴们都私信我说,让我介绍一下Dropout和R-Drop之间的区别。相信大家看完这篇后,当面试官再问时,就可以轻松应对啦!...
关注NLP新进展的读者,想必对四月份丹琦女神发布的SimCSE印象颇深,它通过简单的“Dropout两次”来构造正样本进行对比学习,达到了无监督语义相似度任务的全面SOTA。无独有偶,微软在六月底发布的论文《R-Drop: Regularized ...
今天要给大家推荐一下我校计算机系NLP实验室的最新成果:OpenPrompt开源工具包。有了它,初学者也可轻松部署Prompt-learning框架来利用预训练模型解决各种NLP问题,下面就让我们一起来看看吧。...
今天给大家推荐一下我校计算机系NLP实验室和智源团队联合发布的一款低资源大模型推理工具包BMInf,在最低配置为NVIDIA GTX 1060 6G的千元级显卡上便可以进行百亿模型的高效推理。...
对词的词性标注,词性:动词、名词、形容词等,例如:我/r爱/v北京/ns天安门/ns。其中,ns代表名词,v代表动词,ns、v 都是标注,以此类推。
本文链接: https://moeci.com/posts/NLP-summary/