自然语言处理（NLP）领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿，其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 27 篇论文（含 9 篇 findings）。...
本文提出了Focal Self-Attention，对当前token周围的区域进行细粒度的关注，对离当前token较远的区域进行粗粒度的关注，用这样的方式来更加有效的捕获局部和全局的注意力。基于FSA，作者提出了Focal Transformer，并在分类、检...
目前，DeFi 赛道中，专门做 DEX 交易聚合的产品挺多的，以下是其中一些平台：
Solv 创建的 vNFT 致力于为非匀质化通证 NFT 添加可计算性（computability），即在保留 NFT 强大的个性化描述能力的同时，使“数量”成为其 NFT 的核心属性，使之能够支持数学运算。可计算 NFT 是兼容 ERC721 的“超级 NFT”，同...
【GiantPandaCV导语】近段时间，Vision Transformer展现了自注意力模型的在图像领域的潜力，但是想要赶上CNN的SOTA结果，需要依赖额外的大数据集预训练。我们发现限制VIT表现的因素是其编码细微级别特征到token上效率低下，...
本文介绍Google新提出的一种名为"TeaForN"的缓解Exposure Bias现象的方案，来自论文《TeaForN: Teacher-Forcing with N-grams》，它通过嵌套迭代的方式，让模型能提前预估到后N个token（而不仅仅是当前要预测的token），其处理思...
视觉Transformer(ViT)等基于注意力的神经网络最近在许多计算机视觉基准测试中取得了最先进的结果。比例是获得出色结果的主要因素，因此，了解模型的scaling属性是有效设计的关键。虽然已经研究了扩展Transformer语言模型...
Vision Transformers(ViTs)和MLPs标志着在用通用神经架构替换手动特征或归纳偏置方面的进一步努力。现有工作通过大量数据为模型赋能，例如大规模预训练和/或重复的强数据增广，并且还报告了与优化相关的问题（例如，对初始化...
最近半年，Transformer在视觉领域大获成功，其中的代表作就是谷歌的工作ViT：《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》。
自 2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer 已经成为自然语言处理领域的主流模型，基于 Transformer 的预...
