DataParallel 从流程上来看，是通过将整个小批次（minibatch）数据加载到主线程上，然后将子小批次（ub-minibatches）数据分散到整个GPU网络中来工作。

在 PyTorch DataParallel 训练过程中，其会在多个GPU之上复制模型副本，然后才开始训练。笔者在分析过程中，发现如果不把一些GPU相关基础知识整理出来，很难理解DataParallel的这个复制模型的过程，遂有此文。...

近日reddit上一篇帖子再次引发了圈内热议，当BN和dropout被谷歌申请了专利时，像Facebook这样的公司如何确保Pytorch不侵权？很人认为对此没有必要担心，这只是谷歌的“防御”专利，但事实就是如此吗？...

微软Windows团队的AI已经公布了˚F IRST DirectML的预览作为后端PyTorch训练ML车型。此版本允许在任何 DirectX12 GPU 和 WSL 上加速 PyTorch 的机器学习训练，释放混合现实计算的新潜力。...

以BERT、GPT为代表的预训练模型的出现，可以说是自然语言处理（NLP）领域的里程碑事件。

本文主要在对PyTorch官方文档的翻译之上加入了自己的理解，希望给大家一个PyTorch分布式的历史脉络和基本概念，有兴趣的朋友可以仔细研究一下历史，看看一个机器学习系统如何一步一步进入分布式世界 / 完善其功能。...

最近有粉丝私信我，NLP很难学，这条路能坚持走吗？有相同困惑的朋友可以一起探讨一下：

前文中我们介绍了反向传播引擎的动态逻辑，因为具体反向传播算法是在设备线程中完成的，所以我们单独用一章来讲解。

前文我们提到了 autograd 引擎的静态架构，本文开始我们从动态角度看看引擎是如何运作的。

看到标题，可能很多人会不太可能实现，因为 PyTorch 官网和 TensorFlow 官网最新版本的框架对 GPU 版本的 CUDA 版本的要求不一样，即使使用 Python 虚拟环境也是不可能把不同版本的 CUDA 做隔离，因为 CUDA 和 Python 虚拟环...