摘要：本篇主要分享了项目实践中的BERT文本分类优化策略和原理。首先是背景介绍及优化方向，其中优化方向主要分成从数据层面优化和模型层面优化；然后通过实验的方式重点分析了分类器优化策略和原理，主要从优化BERT预训练权...

摘要：本文主要解决在样本数量较少、样本不均衡或者需要提高模型的鲁棒性的场景下通过样本增强技术提升模型的泛化能力的问题。主要讲了近几年常用的样本增强技术，其中包括回译技术、词汇替换技术、随机噪声引入技术和生...

摘要：BERT是近几年NLP领域中具有里程碑意义的存在。因为效果好和应用范围广所以被广泛应用于科学研究和工程项目中。广告系列中前几篇文章有从理论的方面讲过BERT的原理，也有从实战的方面讲过使用BERT构建分类模型。本...

摘要：BERT因为效果好和适用范围广两大优点，所以在NLP领域具有里程碑意义。实际项目中主要使用BERT来做文本分类任务，其实就是给文本打标签。因为原生态BERT预训练模型动辄几百兆甚至上千兆的大小，模型训练速度非常慢，对于B...

摘要：上一篇广告行业中那些趣事系列3：NLP中的巨星BERT，从理论的角度讲了下NLP中有里程碑意义的BERT模型。BERT具有效果好和通用性强两大优点，其中效果好最主要的原因就是使用了Transformer作为特征抽取器。本篇主要详解下...

摘要：上一篇广告中那些趣事系列1：广告统一兴趣建模流程，我们了解了如何为广告主圈人群以及如何刻画用户的兴趣度。要想给用户打标签，我们需要构建数据源和标签的关联，也就是item-tag。针对数量较少的app数据源我们可以使用...

梦晨 萧箫 发自 凹非寺量子位 | 公众号 QbitAI千亿级参数AI大模型，竟然真的能获取代码了？！一觉醒来，AI圈发生了一件轰动的事情——Meta AI开放了一个“重达”1750亿参数的大语言模型OPT-175B，不仅参数比GPT-3的3750亿更少，...

丰色 发自 凹非寺量子位 | 公众号 QbitAI最近，一家AI初创公司引起了不少人的注意。在推特上宣布成立之时，有不少人为其点赞和转发。一上来就要搞通用人工智能，什么来头？我们看了一下它的创始人名单：Ashish Vaswani和Niki P...

现在的期刊现在有多“内卷”，相信我不说，大家也能明白其中的苦楚；你的SCI论文进展如何了? 是在实验室里疯狂实验？在图书馆疯狂码字？还是一脸茫然，不知所措......莫慌！这就给大家安利几本期刊~...

每天给你送来NLP技术干货！----论文：Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks录取：ACL2022链接：https://arxiv.org/pdf/2202.13840.p...