TensorFlow还是PyTorch？哪一个才更适合编写深度神经网络？

2020-05-09 16:50:48 浏览数 (1)

编程实现神经网络的最佳框架是什么？TensorFlow还是PyTorch？我的回答是：别担心，你从哪一个入门，你选择哪一个并不重要，重要的是自己动手实践！下面我们开始吧！

这两种框架都提供了编程神经网络常用的机器学习步骤：

  • 导入所需的库
  • 加载并预处理数据
  • 定义模型
  • 定义优化器和损失函数
  • 训练模型
  • 评估模型

这些步骤可以在任何一个框架中找到非常类似的实现（即使是像MindSpore这样的框架）。为此，在本文中，我们将构建一个神经网络模型，分别在PyTorch API与TensorFlow Keras API下进行手写数字分类任务的实现。

1. 神经网络编程步骤

a）导入必要的库

在这两个框架中，我们需要首先导入一些Python库并定义一些我们将需要训练的超参数：

代码语言：javascript复制
 import numpy as np 
 import matplotlib.pyplot as plt 
 epochs = 10 
 batch_size=64

对于TensorFlow，您仅需要额外导入以下库：

代码语言：javascript复制
 import tensorflow as tf

而对于PyTorch，您还需要导入这两个库：

代码语言：javascript复制
 import torch 
 import torchvision

b）导入并预处理数据

使用TensorFlow加载和准备数据可以使用以下两行代码：

代码语言：javascript复制
 (x_trainTF_, y_trainTF_), _ = tf.keras.datasets.mnist.load_data()
 
 x_trainTF = x_trainTF_.reshape(60000, 784).astype('float32')/255
 y_trainTF = tf.keras.utils.to_categorical(y_trainTF_,
             num_classes=10)

而在PyTorch则是这两行代码：

代码语言：javascript复制
 xy_trainPT = torchvision.datasets.MNIST(root='./data', train=True, download=True,transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))
 xy_trainPT_loader = torch.utils.data.DataLoader(xy_trainPT, batch_size=batch_size)

我们可以通过matplotlib.pyplot库验证这两个代码是否加载了相同的数据：

代码语言：javascript复制
 print("TensorFlow:")
 fig = plt.figure(figsize=(25, 4))
 for idx in np.arange(20):
    ax = fig.add_subplot(2, 20/2, idx 1, xticks=[], yticks=[])
    ax.imshow(x_trainTF_[idx], cmap=plt.cm.binary)
    ax.set_title(str(y_trainTF_[idx]))
代码语言：javascript复制
 print("PyTorch:")
 fig = plt.figure(figsize=(25, 4))
 for idx in np.arange(20):
    ax = fig.add_subplot(2, 20/2, idx 1, xticks=[], yticks=[])
    ax.imshow(torch.squeeze(image, dim = 0).numpy(),
              cmap=plt.cm.binary)
    image, label = xy_trainPT [idx]
    ax.set_title(str(label))

c）定义模型

在定义模型的时候，这两种框架都使用相当相似的语法来完成。对于TensorFlow，可以使用以下代码来完成：

代码语言：javascript复制
 modelTF = tf.keras.Sequential([ tf.keras.layers.Dense(10,activation='sigmoid',input_shape=(784,)), tf.keras.layers.Dense(10,activation='softmax') ])

在PyTorch下则这么完成：

代码语言：javascript复制
 modelPT= torch.nn.Sequential( torch.nn.Linear(784,10),torch.nn.Sigmoid(), torch.nn.Linear(10,10), torch.nn.LogSoftmax(dim=1) )

d）定义优化器与损失函数

同样，指定优化器和loss函数的方法在两个框架下也是很相似的。在TensorFlow下，我们可以这样做：

代码语言：javascript复制
 modelTF.compile(
                loss="categorical_crossentropy",    
                optimizer=tf.optimizers.SGD(lr=0.01),
                metrics = ['accuracy']
                )

在PyTorch下则是这样的：

代码语言：javascript复制
 criterion = torch.nn.NLLLoss()
 optimizer = torch.optim.SGD(modelPT.parameters(), lr=0.01)

e）训练模型

最大的不同在于训练。对于TensorFlow，我们只需要这一行代码：

代码语言：javascript复制
 _ = modelTF.fit(x_trainTF, y_trainTF, epochs=epochs,
                 batch_size=batch_size, verbose = 0)

而在PyTorch下则更长，像这样：

代码语言：javascript复制
 for e in range(epochs):
     for images, labels in xy_trainPT_loader:
         images = images.view(images.shape[0], -1)
         loss = criterion(modelPT(images), labels)
         loss.backward()
         optimizer.step()
         optimizer.zero_grad()

PyTorch没有内置像在Keras或Scikit-learn中非常常见的fit()等训练方法，因此训练循环必须由程序员手动指定。嗯，这其实是在简单性和实用性之间进行一定的折衷，以便能够做更多自定义的事情。

f）评估模型

评估模型也是如此，在TensorFlow中，您只需对测试数据调用evaluate()方法：

代码语言：javascript复制
 _, (x_testTF, y_testTF)= tf.keras.datasets.mnist.load_data()
 x_testTF = x_testTF.reshape(10000, 784).astype('float32')/255
 y_testTF = tf.keras.utils.to_categorical(y_testTF, num_classes=10)
 
 _ , test_accTF = modelTF.evaluate(x_testTF, y_testTF)
 print('nAccuracy del model amb TensorFlow =', test_accTF)
 
 TensorFlow model Accuracy = 0.8658999800682068

在PyTorch中，再次需要程序员手动定义评估循环：

代码语言：javascript复制
 xy_testPT = torchvision.datasets.MNIST(root='./data', train=False, download=True,
             transform=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]))
 
 xy_test_loaderPT = torch.utils.data.DataLoader(xy_testPT)
 
 correct_count, all_count = 0, 0
 for images,labels in xy_test_loaderPT:
   for i in range(len(labels)):
     img = images[i].view(1, 784)
 
     logps = modelPT(img)
     ps = torch.exp(logps)
     probab = list(ps.detach().numpy()[0])
     pred_label = probab.index(max(probab))
     true_label = labels.numpy()[i]
     if(true_label == pred_label):
       correct_count  = 1
     all_count  = 1
 
 print("nAccuracy del model amb PyTorch =", (correct_count/all_count))
 
 TensorFlow model Accuracy = 0.8657

2. 更重要的是，它们在相互融合！

好了，如这个简单的示例所示，在TensorFlow和PyTorch中创建神经网络的方式并没有真正的区别，只是在一些细节方面，程序员必须实现训练和评估循环的方式，以及一些超参数，像epoch或batch_size是在不同的步骤中指定的。

实际上，在过去两年中，这两个框架一直在不断融合，相互学习并采用它们的长处。例如，在几周前发布的新版本TensorFlow 2.2中，训练步骤可以像PyTorch一样，现在程序员可以通过实现train_step()来指定循环主体的详细内容。因此，不必担心选择“错误的”框架，它们正在相互融合！最重要的是要学习背后的深度学习概念，您在其中一个框架中获得的所有知识在另一个框架下照样有用。

3. 工业应用还是学术研究？

但是，很明显，神经网络的工业应用与学术研究是截然不同的。在这种情况下，决定选择哪一个很重要。

TensorFlow是一个非常强大且成熟的Python库，具有强大的可视化功能以及用于高性能模型开发的各种选项。它具有准备用于生产的部署共轭能，并自动支持Web和移动平台。

另一方面，PyTorch仍然是一个年轻的框架，但是拥有一个非常活跃的社区，尤其是在研究领域。门户网站The Gradient在附图中显示了主要的深度学习会议（CVPR，ICRL，ICML，NIPS，ACL，ICCV等）发表的研究论文中PyTorch的使用量，可以看到PyTorch在研究界的兴起和广泛采用。

从2018年的数据可以看出，Pythorch框架的使用还是少数，而相比之下，2019年的使用量对比TensorFlow是压倒性的。因此，如果你想创造与人工智能相关的产品，TensorFlow是一个不错的选择。如果你想做研究，我推荐PyTorch。

4. 新手请选择Keras

如果你还是个萌新，对这一切都还很不了解，请从TensorFlow的Keras API开始。PyTorch的API具有更大的灵活性和控制力，但显然TensorFlow的Keras API可以更容易上手。而且，如果您正在阅读这篇文章，我假定您是深度学习领域的入门者。

顺便说一句，Keras计划在2020年推出几种新特性，它们都是为了“让事情变得更容易”。以下是最近添加的或即将发布的一些新功能的列表：

  • 预处理层API

到目前为止，我们已经使用NumPy和PIL（Python Imaging Library）编写的辅助工具完成了预处理。这种外部预处理使模型的可移植性降低，因为每次有人重用已经训练好的模型时，他们都必须重新实现整个预处理流程。因此，通过“预处理层”，预处理现在可以成为模型的一部分。这包括诸如文本标准化，标记化，向量化，图像标准化，数据增强等方面。也就是说，这将允许模型接受原始文本或原始图像作为输入。我个人认为这将非常有趣。

  • Keras Tuner

这是一个可让您在Keras中找到模型的最佳超参数的框架。当你开始进行一些深度学习工作时，您会发现超参数的调整将是整个工作中最为繁重的部分，这个框架旨在解决这一问题。

  • AutoKeras

该项目旨在用几行代码建立一个很好的机器学习模型，根据可能的模型空间自动搜索最佳模型，并使用Keras Tuner查找进行超参数调整。对于高级用户，AutoKeras还允许对搜索空间和过程的配置进行更高级别的控制。

  • Cloud Keras

我们的愿景是让程序员更容易地将本地代码（我们的笔记本电脑或Google Colab本地工作）移动到云端，使其能够在云端以最佳和分布式的方式执行此代码，而不必担心集群或Docker参数。

  • 与TensorFlow集成

与TFX（TensorFlow Extended，用于管理机器学习生产应用程序的平台）进行更多集成的工作正在进行中，并为将模型导出到TF Lite（用于移动和嵌入式设备的机器学习执行引擎）提供更好的支持。毫无疑问，改善对模型生产的支持对于Keras程序员的忠诚度至关重要。

5. 小结

打个比方，你认为哪种语言是入门编程的最佳语言，C 还是Java？好吧…这取决于我们想用它做什么，最重要的是取决于我们能学到什么样的工具。我们可能无法达成一致，因为我们有一个先入为主的观点，我们很难改变对这个问题的回答（同样的情况也发生在PyTorch和TensorFlow的“粉丝”身上? )。但我们都同意的一点是，最重要的是知道如何编程。事实上，无论我们从一种语言的编程中学到什么，当我们使用另一种语言时，它都会为我们服务，对吧？对于框架来也是如此，重要的是要了解深入学习，而不是框架的语法细节，然后我们将这些知识用于正在流行的框架或者我们想用的其他框架。

作者：Jordi TORRES.AI

deephub翻译组：Alexander Zhao

本文代码：

https://github.com/jorditorresBCN/PyTorch-vs-TensorFlow/blob/master/MNIST-with-PyTorch-and-TensorFlow.ipynb

colab google notebook：

https://colab.research.google.com/github/jorditorresBCN/PyTorch-vs-TensorFlow/blob/master/MNIST-with-PyTorch-and-TensorFlow.ipynb

DeepHub

微信号 : deephub-imba

tensorflow pytorch keras api 神经网络

0 人点赞