大型网站类目目录的数量很大，一般都无法进行手动标记，所以理解大型目录的内容对在线业务来说是一个重大挑战，并且这使得对于新产品发现就变得非常困难，但这个问题可以通过使用自监督神经网络模型来解决。...

AudioLM 是 Google 的新模型，能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音，例如钢琴音乐或人的对话。结果是它似乎与原版没有区别，这是十分让人惊讶的。...

# 小样本学习在文心ERNIE3.0多分类任务应用（提示学习）项目链接：[https://aistudio.baidu.com/aistudio/projectdetail/4438610?con

大家好，这里是NewBeeNLP。智能问答是人工智能领域中一个比较受关注的方向，目前广泛应用于各种垂直或综合的搜索引擎、智能客服、智能助手以及智能手机、车载音箱等。...

如何无监督地训练一个神经检索模型是当前IR社区的研究热点之一，在今天我们分享的论文中，OpenAI团队尝试在大规模无监督数据上对GPT系列模型做对比预训练(Contrastive Pre-Training)，得到的 CPT-text模型 在文本匹配、语...

在现代自然语言处理（NLP）的应用中，使用预训练的表征进行迁移学习是很重要的一个方法。在深度学习开始被应用之后，迁移学习最早出现在使用预训练的特征向量，以及对预训练语言模型（pre-trained language model，PLM）进行微调（fine...

大家好，这里是NewBeeNLP。今天给大家分享一篇大佬的ACL参会总结，整理了一些当前NLP领域的热点和有趣的工作。以下是原文

语言模型能够记住一些训练数据，如果经过合适地提示引导，可能会生成记住的数据。这肯定不太合适，因为可能会侵犯隐私、降低效用（重复的容易记住的词往往质量比较低），并且有失公平（有些文本被记住而有些没有）。...

搜索引擎是人们获取信息的重要途径，其中包含了很多问答型的query。但传统的搜索只能返回TopK的网页，需要用户自己从网页中分析甄别答案，体验较差。原因是传统搜索引擎只是对query和doc做“匹配”，并不是真正细粒度地理解q...

目前所有的 PLM 都缺其中一个或多个。很多注入知识蒸馏、数据增强、Prompt 的方法用以缓解这些缺失，但却在实际中带来了新的工作量。本文提供了一个未来的研究方向，将任务分解成几个关键阶段来实现不可能三角。...