一论文题目：Is Sparse Attention more Interpretable?论文摘要: 稀疏的注意力被认为可以提高模型的可解释性，因为它突出了有影响力的输入。然而，注意力的分布通常...

给一段文字标记 Tag 是一个很常见的需求，比如我每篇博客下面都有对应的 Tag，不过一般说来，Tag 是数据录入者人为手动添加的，但是对大量用户产生的数据而言，我们不能指望他们能够主动添加合适的 Tag，于是乎就产生了这样的需...

论文 1：Scaling Language Models: Methods, Analysis & Insights from Training Gopher

近几年，我们已经看到模型规模越来越大，例如 2018 年诞生的 GPT 具有 1.17 亿参数，时隔一年，2019 年 GPT-2 参数量达到 15 亿，2020 年更是将其扩展到 1750 亿参数的 GPT-3。据了解，OpenAI 打造的超级计算机拥有 285000 个 CP...

近年来，国内外各大 AI 巨头的大规模语言模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。...

今日，特斯拉 AI 总监、Autopilot Vision 团队领导人 Andrej Karpathy 在推特上发文，对 AI 领域正在进行中的融合（consolidation）表示惊叹。

参数量上看，已经超越了OpenAI 1750亿参数的GPT-3，但是要少于英伟达-微软5300亿参数的威震天-图灵。

或许很难想象，从晶体管的每个具有确定性的0和1之间的变换，到最后也能变成一场科学实验般的探索。自人们用计算机证明四色猜想以来，这个硅质人造物就充满了无限的不确定性。...

【1】 CoMPS: Continual Meta Policy Search标题：COMPS：连续元策略搜索链接：https://arxiv.org/abs/2112.04467

【1】 Functional Regularization for Reinforcement Learning via Learned Fourier Features标题：基于学习傅立叶特征的强化学习函数正则化链接：https://arxiv.org/abs/2112.03257