《动手学深度学习》Pytorch版开源！

2019-12-30 14:49:41 浏览数 (1)

机器之心报道

项目作者：ShusenTang

参与：思

想要入门最前沿的深度学习，想要玩最常见的深度学习框架？那就用 PyTorch 版的《动手学深度学习》吧，零基础也能入门 DL。

李沐等人的开源中文书《动手学深度学习》现在有 PyTorch 版实现了。不论是原书中的示例代码，还是实战项目，原来的 MXNet 都可以无缝转化到 PyTorch 代码。项目作者在保持原书内容基本不变的情况下，将 MXNet 代码都转换为了 PyTorch，想要学习 DL 和 PyTorch 的小伙伴们可以试试啊。

  • 项目地址：https://github.com/ShusenTang/Dive-into-DL-PyTorch

近年来，不论是计算机专业的学生，还是已在科技互联网行业从业多年的技术人员和其他从业者，人们对深度学习的兴趣从未如此高涨。但是，由于语言等因素，中文版本的优秀深度学习教材也是凤毛麟角。

之前，亚马逊首席科学家李沐等人曾以电子版的形式在 GitHub 上开源了一本深度学习中文书籍——《动手学深度学习》，这是一本深度学习的入门教程类书籍。其英文版被 UC 伯克利「深度学习导论（STAT 157）」课程采用，2019 年李沐等在教授深度学习课程时也使用了这本教程。

  • 中文版开源地址：https://github.com/d2l-ai/d2l-zh

目前，该项目在 GitHub 上已获得超过 1.1 万星，并且中文版电子书还发布了纸质版书籍。不过虽然书籍非常优秀，但还是有一些读者不太习惯用 Gluon 来写代码，毕竟开源项目大部分都是 TF 或 PyTorch 写的。现在好了，我们可以直接结合书籍内容和 PyTorch 框架，更深入地理解 DL。

项目怎么样

项目作者表示，该仓库主要包含 code 和 docs 两个文件夹。其中 code 文件夹就是每章相关 jupyter notebook 代码（基于 PyTorch）；docs 文件夹就是 markdown 格式的《动手学深度学习》书中的相关内容，它也是基于 PyTorch 的。

由于原书内容使用的是 MXNet 框架，所以 docs 内容可能与原书略有不同，但是整体内容是一样的。如下所示为 docs 目录下的文档，它一共包含十章，大部分内容已经非常完整了，即 1-8 章和第 10 章，只有第 9 章计算机视觉还在继续补全中。

其实新项目的内容结构与组织方式和原书是一样的，上面展示的 docs 目录主要可以分为三部分：基础知识（1-3 章）、现代深度学习技术（4-6 章）、计算性能与应用（7-10）。如下所示为全书不同章节的主题与依赖关系，箭头表示上一章有助于理解下一章。

除了内容，另一大部分就是实战代码了，随书代码基本都转化为了 PyTorch，它如同原书一样也是用 Jupyter Notebook 写的，这样更好地展示代码与文字解释。因为 GitHub 加载 Jupyter Notebook 挺慢的，所以最好还是下到本地查阅。

最后，《动手学深度学习》与 PyTorch 也是非常好的搭档，也就是说我们不需要任何机器学习或深度学习背景知识，只需要了解基本数学与 Python 编程就可以了。

从 MXNet 到 PyTorch

这样看起来可能不太直观，我们可以通过两个案例看看原版《动手学深度学习》随书代码和 PyTorch 版之间的区别。如果我们抽取使用循环神经网络构建语言模型的分布代码，就能看看原版 Gluon 和新版 PyTorch 之间的区别。

如下是原书采用 RNN 建模语言模型的部分代码（原书 6.5 章），我们主要抽取了模型定义部分：

如上可以改写为对应的 PyTorch 代码，它们的风格虽然都非常简洁，但还是有一些不同的。

最新报道：目前已经更新至第10章节：

  • 简介
  • 阅读指南
  • 1. 深度学习简介
  • 2. 预备知识
    • 2.1 环境配置
    • 2.2 数据操作
    • 2.3 自动求梯度
  • 3. 深度学习基础
    • 3.1 线性回归
    • 3.2 线性回归的从零开始实现
    • 3.3 线性回归的简洁实现
    • 3.4 softmax回归
    • 3.5 图像分类数据集（Fashion-MNIST）
    • 3.6 softmax回归的从零开始实现
    • 3.7 softmax回归的简洁实现
    • 3.8 多层感知机
    • 3.9 多层感知机的从零开始实现
    • 3.10 多层感知机的简洁实现
    • 3.11 模型选择、欠拟合和过拟合
    • 3.12 权重衰减
    • 3.13 丢弃法
    • 3.14 正向传播、反向传播和计算图
    • 3.15 数值稳定性和模型初始化
    • 3.16 实战Kaggle比赛：房价预测
  • 4. 深度学习计算
    • 4.1 模型构造
    • 4.2 模型参数的访问、初始化和共享
    • 4.3 模型参数的延后初始化
    • 4.4 自定义层
    • 4.5 读取和存储
    • 4.6 GPU计算
  • 5. 卷积神经网络
    • 5.1 二维卷积层
    • 5.2 填充和步幅
    • 5.3 多输入通道和多输出通道
    • 5.4 池化层
    • 5.5 卷积神经网络（LeNet）
    • 5.6 深度卷积神经网络（AlexNet）
    • 5.7 使用重复元素的网络（VGG）
    • 5.8 网络中的网络（NiN）
    • 5.9 含并行连结的网络（GoogLeNet）
    • 5.10 批量归一化
    • 5.11 残差网络（ResNet）
    • 5.12 稠密连接网络（DenseNet）
  • 6. 循环神经网络
    • 6.1 语言模型
    • 6.2 循环神经网络
    • 6.3 语言模型数据集（周杰伦专辑歌词）
    • 6.4 循环神经网络的从零开始实现
    • 6.5 循环神经网络的简洁实现
    • 6.6 通过时间反向传播
    • 6.7 门控循环单元（GRU）
    • 6.8 长短期记忆（LSTM）
    • 6.9 深度循环神经网络
    • 6.10 双向循环神经网络
  • 7. 优化算法
    • 7.1 优化与深度学习
    • 7.2 梯度下降和随机梯度下降
    • 7.3 小批量随机梯度下降
    • 7.4 动量法
    • 7.5 AdaGrad算法
    • 7.6 RMSProp算法
    • 7.7 AdaDelta算法
    • 7.8 Adam算法
  • 8. 计算性能
    • 8.1 命令式和符号式混合编程
    • 8.2 异步计算
    • 8.3 自动并行计算
    • 8.4 多GPU计算
  • 9. 计算机视觉
    • 9.9 语义分割和数据集
    • 9.10 全卷积网络（FCN）
    • 9.11 样式迁移
    • 9.12 实战Kaggle比赛：图像分类（CIFAR-10）
    • 9.13 实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
    • 9.8 区域卷积神经网络（R-CNN）系列
    • 9.7 单发多框检测（SSD）
    • 9.1 图像增广
    • 9.2 微调
    • 9.3 目标检测和边界框
    • 9.4 锚框
    • 9.5 多尺度目标检测
    • 9.6 目标检测数据集（皮卡丘）
  • 10. 自然语言处理
    • 10.1 词嵌入（word2vec）
    • 10.2 近似训练
    • 10.3 word2vec的实现
    • 10.4 子词嵌入（fastText）
    • 10.5 全局向量的词嵌入（GloVe）
    • 10.6 求近义词和类比词
    • 10.7 文本情感分类：使用循环神经网络
    • 10.8 文本情感分类：使用卷积神经网络（textCNN）
    • 10.9 编码器—解码器（seq2seq）
    • 10.10 束搜索
    • 10.11 注意力机制
    • 10.12 机器翻译
深度学习 pytorch 神经网络 卷积神经网络 编程算法

0 人点赞