这是一篇一本正经无聊的小研究项目。。 互联网现在面临很多新网络文体，比如弹幕文体、小红书的种草文体、网名等，这些超短文本中本身字符特征就比较少，但是表情包占比却很多，这是重要信息呀。 之前参加比赛，一般都是当作停...
在许多NLP任务（特别是在文本语义匹、文本向量检索等）需要训练优质的句子表示向量，模型通过计算两个句子编码后的Embedding在表示空间的相似度来衡量这两个句子语义上的相关程度，从而决定其匹配分数。尽管基于BERT在诸多NL...
【新智元导读】近日，微软最新的第5代图灵模型（T-NLRv5）同时问鼎SuperGLUE和GLUE两个排行榜，并且在GLUE基准的MNLI和RTE上首次实现了和人类相当的水平！
前一篇文章分享了生成对抗网络（GAN），详细讲解什么是生成对抗网络，及常用算法（CGAN、DCGAN、infoGAN、WGAN）、发展历程、预备知识。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践，并分享各种案例，涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者，更加成体系的分享新知识。该系列文章会更加...
在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大容量和分辨率，Swin Transformer在四个具有代表性的视觉基准上创造了新的记录：ImageNet-V2图...
本文分享论文『ActionCLIP: A New Paradigm for Video Action Recognition』，假设视频动作识别不是分类问题，而是检索问题？并基于 CLIP，浙大提出 ActionCLIP，用检索的思想做视频动作识别！性能 SOTA！代码已开源！...
这篇主要探讨SimCLR，不需要用监督学习(supervision)的方式，采用自监督(self-supervised)的方式使得模型学到很多有用的patterns。众所周知，使用对比学习(修改样本，loss等小trick)就可以显著提高模型的泛化能力，所以我们都...
“专家混合 (MoE) 架构是一种深度学习模型架构，其中计算成本与参数数量成正比，允许更简单的扩展”。MoE 是目前唯一一种已被证明可以将深度学习模型扩展到数万亿个参数的方法，为能够学习更多信息的模型铺平了道路，并为计...
最近，像 GPT-3 这样基于 Transformer 的深度学习模型在机器学习领域受到了很多关注。这些模型可以很好地理解语义关系，帮助微软必应搜索引擎大幅提升了体验，并在 SuperGLUE 学术基准测试上超越了人类水平。但是，这些模型...
