PyTorch: 计算图与动态图机制

本文已收录于Pytorch系列专栏： Pytorch入门与实践专栏旨在详解Pytorch，精炼地总结重点，面向入门学习者，掌握Pytorch框架，为数据分析，机器学习及深度学习的代码能力打下坚实的基础。免费订阅，持续更新。

文章目录
计算图
PyTorch的动态图机制

计算图

计算图是用来描述运算的有向无环图

计算图有两个主要元素：

结点 Node
边 Edge

结点表示数据：如向量，矩阵，张量

边表示运算：如加减乘除卷积等

用计算图表示：y = (x w) * (w 1) a = x w b = w 1 y = a * b

计算图与梯度求导

y = (x w) * (w 1) a = x w b = w 1 y = a * b

begin{aligned} frac{partial y}{partial w} &=frac{partial y}{partial a} frac{partial a}{partial w} frac{partial y}{partial b} frac{partial b}{partial w} \ &=b * 1 a * 1 \ &=b a \ &=(w 1) (x w) \ &=2 * w x 1 \ &=2 * 1 2 1=5 end{aligned}

可见，对于变量w的求导过程就是寻找它在计算图中的所有路径的求导之和。

code：

代码语言：javascript复制

import torch

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)     # retain_grad()
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
print(w.grad)

代码语言：javascript复制