译者：univeryinli
后端
torch.distributed 支持三个后端，每个后端具有不同的功能。下表显示哪些功能可用于CPU/CUDA张量。仅当用于构建PyTorch的实现支持时，MPI才支持CUDA。
后端 | gloo | mpi | nccl |
|---|---|---|---|
设备 | CPU | GPU | CPU |
— | — | — | — |
发送 | ✓ | ✘ | ✓ |
接收 | ✓ | ✘ | ✓ |
广播 | ✓ | ✓ | ✓ |
all_reduce | ✓ | ✓ | ✓ |
reduce | ✓ | ✘ | ✓ |
all_gather | ✓ | ✘ | ✓ |
收集 | ✓ | ✘ | ✓ |
分散 | ✓ | ✘ | ✓ |
屏障 | ✓ | ✘ | ✓ |
PyTorch附带的后端
目前PyTorch分发版仅支持Linux。默认情况下，Gloo和NCCL后端构建并包含在PyTorch的分布之中（仅在使用CUDA构建时为NCCL）。MPI是一个可选的后端，只有从源代码构建PyTorch时才能包含它。（例如，在安装了MPI的主机上构建PyTorch）
哪个后端使用？
在过去，我们经常被问到：“我应该使用哪个后端？”。
- 经验法则
- 使用NCCL后端进行分布式 GPU 训练。
- 使用Gloo后端进行分布式 CPU 训练。
- 具有InfiniBand互连的GPU主机
- 使用NCCL，因为它是目前唯一支持InfiniBand和GPUDirect的后端。
- GPU主机与以太网互连
- 使用NCCL，因为它目前提供最佳的分布式GPU训练性能，特别是对于多进程单节点或多节点分布式训练。如果您遇到NCCL的任何问题，请使用Gloo作为后备选项。（请注意，Gloo目前运行速度比GPU的NCCL慢。）
阅读全文／改进本文
