自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpenAI 的 GPT-3（1,750 亿）、智源研究院的 WuDao2.0（1.75 万亿）……...

在欧几里得空间中定义了距离和向量长度（范数）之后，就可以继续定义角度，以平面几何空间为例，如图1-5-9所示，设

本文分享论文『SWIN BERT: End-to-End Transformers with Sparse Attention for Video Captioning』，微软提出第一个端到端的Video Captioning方法《SWIN BERT》，涨点显著！

【1】 Max-Margin Contrastive Learning标题：最大裕度对比学习链接：https://arxiv.org/abs/2112.11450

【1】 Mask2Former for Video Instance Segmentation标题：用于视频实例分割的Mask2Former链接：https://arxiv.org/abs/2112.10764

【1】 Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets标题：利用Transformer检测会话式代码混合推文中的仇恨语音链接：https://arxiv.org/abs/2112.09986......

【1】 Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations标题：通过LSTM和转换器学习有界上下文无关文法：差异与解释链接：https://arxiv.org/abs/2112......

根据当前人工智能的趋势，越大的自然语言模型可以提供越好的准确性，目前GPT-3的模型参数达到175B。但是由于成本、时间和代码集成的障碍，较大的模型难以训练。...

GPT-3 是 OpenAI 开发的高级自然语言处理模型。它返回自然语言文本完成以响应任何文本请求，例如短语或句子。开发人员在他们的应用程序中使用 GPT-3（通过应用程序编程 (API) 按需收费）来完成文本翻译和软件代码开发等任...

【新智元导读】近日，北大校友、约翰·霍普金斯大学博士生提出了一种新的方法：MaskFeat，力压大神何恺明的新作MAE，摘下12个SOTA！