点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
一篇文章带你使用PyTorch构建“感知器”网络
PyTorch是一个很棒的深度学习框架，简单易学。本篇文章将带领大家从头开始构建一个“原始”的神经网络。
从某个角度来说，深度学习其实很“烂”，基本上是使用一种随机搜索的方法来找到一种最优解，从而实现某种功能；从另一个角度上来说，深度学习很“棒”，可以做一些令人难以置信的事情。
尽管大家可能已经可以构建一套完整的Imagenet分类器，但是在本篇文章中，我们还是从基础知识讲起。大家最开始学习神经网络的时候，肯定接触过一个概念——感知器。
感知器
从生物学的角度上讲，神经元是大脑的组成部分；但是从神经网络角度上讲：神经元是将加权输入求和并求和以产生一些输出的单位；更有用的是在产生输出之前将非线性函数应用于求和。
首先，我们先import一些常用库函数：
代码语言：javascript复制import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F然后，我们定义一个只有一个线性神经元的网络：
代码语言：javascript复制class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(1, 1)
def forward(self, x):
x = self.fc1(x)
return x该网络包含一个全连接层，具有一个输入和一个输出。现在，该层（从技术上讲是神经元/权重组合）针对输入，将输出Ax b（[权重 * 输入] 偏差），此时它完全是线性的，并没有激活功能。
在网络定义时，我们只需要定义对输入变量的处理方式，而不必担心反向传播过程。毕竟autograd库可以帮助我们完成对variable梯度的跟踪。下列是网络内部的示例：
代码语言：javascript复制net = Net()
print(net)
Net (
(fc1): Linear (1 -> 1)
)然后可以查看网络的参数，参数由网络自动优化。但是例如学习率之类的超参数需要我们手动进行设置。
代码语言：javascript复制print(list(net.parameters()))
[Parameter containing:
1.00000e-02 *
-6.6961
[torch.FloatTensor of size 1x1]
, Parameter containing:
-0.4478
[torch.FloatTensor of size 1]
]因此我们的网络初始化时的随机权重为-6.6961e-02，偏差为-0.4478，现在我们对网络进行输入：
代码语言：javascript复制input = Variable(torch.randn(1,1,1), requires_grad=True)
print(input)
Variable containing:
(0 ,.,.) =
-0.5085
[torch.FloatTensor of size 1x1x1]上述代码中，我们使用PyTorch创建了一个随机数-0.5085作为网络的输入值，设置require_grad为True，从而表示它是可优化的变量。然后我们可以通过网络学习来计算其来计算其结果：
代码语言：javascript复制out = net(input)
print(out)
Variable containing:
(0 ,.,.) =
-0.4138
[torch.FloatTensor of size 1x1x1]手动计算同样可得：(-6.6961e-02 * -0.5085) -0.4478 = -0.4138。接下来使用随机梯度下降定义损失函数和优化器：
代码语言：javascript复制import torch.optim as optim
def criterion(out, label):
return (label - out)**2
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.5)在这种情况下，我们定义了自己的损失函数：最小二乘法，其通过最小化误差的平方和确定梯度是向上还是向下进行移动。并设置随机梯度下降的超参数：lr和momentum，便于网络反向传播进行梯度计算和更新。
然后，我们开始定义一个数据集。对于本文，我们只需要教会网络如果将数字增大三倍：我们对于Ax b的单个感知器的目标是A = 3和b = 0。一个简单的训练数据集如下所示：
代码语言：javascript复制data = [(1,3), (2,6), (3,9), (4,12), (5,15), (6,18)]然后，训练过程如下所示：
代码语言：javascript复制for epoch in range(100):
for i, data2 in enumerate(data):
X, Y = iter(data2)
X, Y = Variable(torch.FloatTensor([X]), requires_grad=True), Variable(torch.FloatTensor([Y]), requires_grad=False)
optimizer.zero_grad()
outputs = net(X)
loss = criterion(outputs, Y)
loss.backward()
optimizer.step()
if (i % 10 == 0):
print("Epoch {} - loss: {}".format(epoch, loss.data[0]))一段时间后，loss开始收敛至零：
代码语言：javascript复制Epoch 0 - loss: 1.0141230821609497
Epoch 10 - loss: 0.022670941427350044
Epoch 20 - loss: 0.007926558144390583
...此时我们的Ax b已经逼近3x 0：
代码语言：javascript复制print(list(net.parameters()))
[Parameter containing:
2.9985
[torch.FloatTensor of size 1x1]
, Parameter containing:
1.00000e-03 *
8.3186
[torch.FloatTensor of size 1]
]如何做出预测？
代码语言：javascript复制print(net(Variable(torch.Tensor([[[1]]]))))
Variable containing:
(0 ,.,.) =
3.0068
[torch.FloatTensor of size 1x1x1]由此可见，网络预测出的结果已经足够接近期望值。
扩展：多层感知器
上述代码仍适用于两层（或更多）网络，我们只需要更改网络的构建方式即可：（注：各层需要在一层输出和下一层输入的数量上匹配）
代码语言：javascript复制class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(1, 10)
self.fc2 = nn.Linear(10, 1)
def forward(self, x):
x = self.fc2(self.fc1(x))
return x使用GPU加速
PyTorch支持轻松地将计算过程转移至GPU，只需使用cuda()将网络和变量转移至GPU即可：
代码语言：javascript复制net = Net()
net.cuda()在训练循环中：
代码语言：javascript复制X, Y = Variable(torch.FloatTensor([X]), requires_grad=True).cuda(), Variable(torch.FloatTensor([Y])).cuda()添加一些非线性元素：
神经网络能起作用，因为每个神经元都有一些非线性。我们可以在构建网络时，添加目前被认为比较好的非线性函数ReLU，以下是代码的相关更改：
代码语言：javascript复制class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(1,1)
self.fc2 = nn.Linear(1,1)
def forward(self, x):
x = F.relu(self.fc2(F.relu(self.fc1(x))))
return xcriterion = nn.MSELoss()· END ·
