选自Google AI Blog作者：Maxim Tabachnyk等机器之心编译机器之心编辑部自 Copilot 问世以来，AI 代码补全工具正变得越来越普遍。在最近的一篇博客中，谷歌又介绍了他们开发的一种混合代码补全方法，而且进行了规模上万人的...

借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增...

Python凭借其简洁的代码，赢得了许多开发者的喜爱。因此也就促使了更多开发者用Python开发新的模块，从而形成良性循环，Python可以凭借更加简短的代码实现许多有趣的操作。下面我们来看看，我们用不超过10行代码能实现些什么...

经过五个月的开发和场景打磨，孟子多任务模型正式开源，提供出色的 Zero-Shot 及 Few-Shot 能力，以 0.22B 的轻量化模型在零样本学习 ZeroCLUE 和小样本学习权威榜单 FewCLUE 榜单均排名第一，大家可通过 Hugging Face Mod...

这一章我们不聊模型来聊聊数据，解决实际问题时90%的时间其实都是在和数据作斗争，于是无标注，弱标注，少标注，半标注对应的各类解决方案可谓是百花齐放。在第二章我们也尝试通过多目标对抗学习的方式引入额外的NER样本，或者分...

熟悉NLP的同学对Bert Finetune一定不陌生，基本啥任务上来都可以Bert Finetune试一把。可是模型微调一定比直接使用预训练模型效果好么？微调究竟对Bert的向量空间产生了哪些影响嘞？考虑到Bert的高维向量无法直接观测，下面...

https://gitee.com/VampireAchao/simple-kdxf-nlp.git

近三年来，基于 Transformer 和自监督预训练的语言模型取得了非常瞩目的成绩。这些模型通过自回归、降噪自编码器、对比学习等自监督学习任务，能够从海量的单语或者多语语料中学习到语言的通用表示，然后通过微调等方式适...

从预测文本到智能语音控制，人机交互近年来得到了快速的发展。许多科学家设想下一个前沿领域是脑机接口(BCI)，直接的神经连接，利用脑电图(EEG)信号捕捉到的脑电活动。...

BERT模型在NLP各项任务中大杀四方，那么我们如何使用这一利器来为我们日常的NLP任务来服务呢？首先介绍使用BERT做文本多标签分类任务。