对于那些之前可能没有使用过 Transformer 模型（例如 BERT 是什么）的人，这个过程看起来有点像这样：

本文没有任何的原理和解读，只有一些实验的结论，对于想使用混合精度训练的同学可以直接参考结论白嫖，或者直接拿github上的代码(文末放送)。

array([[0.10786477, 0.56611762, 0.10557245], [0.4596513 , 0.13174377, 0.82373043]])

现在，Facebook AI开源了用于数据增强的新Python库——AugLy。

本文将介绍来自加州伯克利大学的 ActNN，一个基于 PyTorch 的激活压缩训练框架。在同样的内存限制下，ActNN 通过使用 2 bit 激活压缩，可以将 batch size 扩大 6-14 倍，将模型尺寸或者输入图片扩大 6-10 倍。ActNN 相关论文...

而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。

上一篇系列文章向大家介绍了 Hello AI World 在Jetson NANO 2GB 上运行Hello AI World。

推荐一篇ICML 2021的文章，与之前推荐的ICML'21 1000层GNN！单块GPU即可训练！类似，本文也不是关注于GNN的架构设计，而是希望能够改善大规模GNN的训练问题。...

哈喽，各位同学好，从今天开始，我将不定期分享研究深度学习框架PyTorch过程中的一些学习心得和笔记。

本文代码 系列前置文章： pytorch DataLoader(1): opencv,skimage,PIL,Tensor转换以及transforms pytorch DataLoader(2): Dataset,DataLoader自定义训练数据_opencv,skimage,PIL接口 翻译文章: 将A......