起因是，谷歌在《MLP-Mixer: An all-MLP Architecture for Vision》论文中提出，无需卷积模块和注意力机制，纯MLP架构也可以达到与Transformer与CNN相媲美的图像分类性能。...

注意力（Attention）机制最早在计算机视觉中应用，后来又在 NLP 领域发扬光大，该机制将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。...

近几年，NLP 技术发展迅猛，特别是 BERT 的出现，开启了 NLP 领域新一轮的发展。

随着强大的模型越来越容易访问，我们可以轻松地利用深度学习的一些力量，而不必优化神经网络或使用GPU。

在一篇新论文中，OpenAI 的研究人员展示了 Codex 的详细信息，它是一种生成软件源代码的深度学习模型。

70 年代以后随着互联网的高速发展，语料库越来越丰富以及硬件更新完善，自然语言处理思潮由理性主义向经验主义过渡，基于统计的方法逐渐代替了基于规则的方法。...

本篇介绍深度学习在自然语言处理(NLP)中的应用，从词向量开始，到最新最强大的BERT等预训练模型，梗概性的介绍了深度学习近20年在NLP中的一些重大的进展...

当 AI 在某一个单点任务上的表现接近或者超越人类的时候，就会给行业带来巨大的商机。在视觉分类、检索、匹配、目标检测等各项任务上，随着相关算法越来越准确，业界也开始在大量商业场景中尝试这些技术...

20 世纪50 年代中期到80 年代初期的感知器，20世纪80 年代初期至21世纪初期的专家系统，以及最近十年的深度学习技术，分别是三次热潮的代表性产物

本博文本应写之前立的Flag：基于加密技术编译一个自己的Python解释器，经过半个多月尝试已经成功，但考虑到安全性问题就不公开了，有兴趣的朋友私聊讨论吧。 从本篇博客开始，本人将转化写作模式，由话痨模式转为极简模式，力求三...