上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。

前文已经对Reducer如何构建和几个重要场景做了介绍，本文就来分析 Reducer 如何实现前向传播。

前文我们给出了分布式autograd的设计思路，本文开始，我们进行具体源码分析。因为无论是前向传播还是反向传播，都需要依赖 RPC 来完成，所以我们先看看封装于 RPC 之上的一些基本功能，比如初始化，代理（RPC 相关功能都是基于代理...

本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。...

编译 torch 需要花费大量的内存，在低于 2g 或以下内存的树莓派上，可以通过增加虚拟内存来防止OOM，4g 或 8g 的版本的树莓派可跳过这步。

我们都知道，一般情况下，一张图像在计算机中的存储格式是三个矩阵（RGB 格式），当然也有四个矩阵（RGBA 格式）或者一个矩阵（灰度图）的情形。然而，进行数据传输的过程中如果直接从发送方把数据原封不动的传给接收方会非常浪费传输带...

因为前文已经围绕Reducer相关的各种成员变量做了相关分析，所以本文开始做动态逻辑分析，目的是：把前面几篇文章串联起来，为后面分析前向传播和反向传播设定基础。...

DL-Practise/YoloAll: YoloAll is a collection of yolo all versions. you you use YoloAll to test yolov3/yolov5/yolox/yolo_fastest (github.com)

通过上文分析，我们已经知道了 DDP 的基本架构和如何初始化，本文就看看其核心 Reducer 的静态架构。Reducer提供了反向传播中梯度同步的核心实现。

FastMoE 是一个易用且高效的基于 PyTorch 的 MoE 模型训练系统.