继续之前没有介绍完的 Pre-training 部分，在上一篇中(BERT源码分析（PART II）)我们已经完成了对输入数据的处理，接下来看看 BERT 是怎么完成「Masked LM」和「Next Sentence Prediction」两个任务的训练。...

BERT 发布后，在排行榜上产生了许多 NLP 任务的最新成果。但是，模型非常大，导致了一些问题。"ALBERT"论文将这些问题分为两类：

"Phenotype"一共包含4个函数，分为"outlier"、"stat"、"histplot"和"blup"。

今天学习的是阿姆斯特丹大学 Michael Schlichtkrull 大佬和 Thomas N. Kipf 大佬于 2017 年合作的一篇论文《Modeling Relational Data with Graph Convolutional Networks》，目前引用超 400 次，虽然这篇文章只是发到了...

今天阅读的是阿里 2018 年的论文《Deep Interest Evolution Network for Click-Through Rate Prediction》，文章中提出的 DIEN 是之前我们介绍的 DIN 的改进版。

今天阅读的是 Google 同学 2019 年的论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。

在本文中，提出了一种深度学习架构，它可从一张彩色图像和一个稀疏深度图生成室外场景之下的精确的稠密深度。受室内深度补全的启发，网络把表面法线估计作为中间表示，以产生稠密深度，并可以端到端训练。该架构采用改进的编解...

论文题目：Multi-Stage Prediction Networks for Data Harmonization (MICCAI19)

今天Tony老师给大家带来的案例是Kaggle上的Twitter的情感分析竞赛。在这个案例中，将使用预训练的模型BERT来完成对整个竞赛的数据分析。

“利用胶囊神经网路技术建构的极端天气预测系统，可快速且以88％的准确率，预测寒流与热浪发生的位置。”