开放下载！复旦大学邱锡鹏教授发布教科书《神经网络与深度学习》

本文转载自“机器之心”

从2016到2019，根据多年教学和研究经验，邱锡鹏教授完成了深度学习教科书《神经网络与深度学习》！目前这本教科书的全书内容、习题和PPT资源都已经开放。

邱老师昨天就在知乎发布了这本书：「整本书终于写完了，虽然还有很多不足。但先告一段落，不然就得无限期拖延下去。感谢众多热心网友的意见和建议。全书的内容可以从这里（https://nndl.github.io/）下载。个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激。」

知乎地址：https://zhuanlan.zhihu.com/p/61591812
随书练习题：https://github.com/nndl/exercise

总体而言，这本书从基础到研究前沿介绍了深度学习的核心概念与理论。我们不仅能了解到全连接、卷积和循环等基本深度神经网络网络，同时还能学习到前沿的 Transformer 等模型，当然所需的数学基础在附录也都是有提供的。这本 446 页的深度学习开放教科书，足够我们了解 DL 的前前后后。

邱老师是复旦大学计算机科学技术学院的副教授与博士生导师，他目前主要从事自然语言处理、深度学习等方向的研究，在 ACL、EMNLP、AAAI、IJCAI 等计算机学会 A/B 类期刊、会议上发表 50 余篇学术论文。此外，邱老师还是 FudanNLP 的开发者和 FastNLP 的负责人，这两个开源项目都旨在提供更好的 NLP 工具。

邱老师个人主页：https://xpqiu.github.io/

如下我们将截取原书部分内容与练习题，希望其能介绍整体结构与大致内容。作为一本优秀的深度学习中文教科书，它真的值得大家下载与阅读。

前言

本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理，知其然还要知其所以然。全书共 15 章。第 1 章是绪论，介绍人工智能、机器学习、深度学习的概要，使读者对相关知识进行全面的了解。第 2、3 章介绍了机器学习的基础知识。

第 4、5、6 章分别讲述三种主要的神经网络模型：前馈神经网络、卷积神经网络和循环神经网络。第 7 章介绍神经网络的优化与正则化方法。第 8 章介绍神经网络中的注意力机制和外部记忆。第 9 章简要介绍了一些无监督学习方法。第 10 章中介绍一些和模型独立的机器学习方法：集成学习、协同学习、自学习、多任务学习、迁移学习、终身学习、小样本学习、元学习等。这些都是目前深度学习的难点和热点问题。

第 11 章介绍了概率图模型的基本概念，为后面的章节进行铺垫。第 12 章介绍两种早期的深度学习模型：玻尔兹曼机和深度信念网络。第 13 章介绍最近两年发展十分迅速的深度生成模型：变分自编码器和对抗生成网络。第 14 章介绍了深度强化学习的知识。第 15 章介绍了应用十分广泛的序列生成模型。

2015 年复旦大学计算机学院开设了《神经网络与深度学习》课程，当时还没有关于深度学习的系统介绍。讲好深度学习并不是一件容易的事，课程涉及知识点非常多并且比较杂乱，也和实践结合十分紧密。作为任课教师，我尝试将梳理了深度学习的知识体系，并写了一本讲义放在网络上。

虽然现在看起来当时对深度学习的理解仍然十分粗浅，且讲义存在很多错误，但依然受到了很多热心网友的反馈和鼓励。2016 年，华章公司的姚蕾编辑多次拜访并希望能将这个讲义整理成书。一方面被姚蕾编辑的诚意打动，另一方面也确实感到应该有一本面向在校学生和相关从业人员的关于深度学习的专门书籍，最终有了正式出版的意愿。

但我依然低估了写书的难度，一方面是深度学习的发展十分迅速，而自己关于深度学习的认知也不断变化，导致已写好的内容经常需要修改，另一方面是平时的科研工作十分繁忙，很难抽出大段的时间来静心写作，因此断断续续的写作一直拖延至今。

虽然我自己理想中著书立说的境界是自己在某一个领域有自己的理论体系，将各式各样的方法都统一到自己的体系下，并可以容纳大多数技术，从新的角度来重新解释这些技术。本书显然还达不到这样的水平，但希望能结合自身的经验，对神经网络和深度学习的相关知识进行总结、梳理，通过写书这一途径，也使得自己更加能够深入理解深度学习这一领域，并提高自己的理论水平。

简要目录如下：

第一部分入门篇

第 1 章绪论

第 2 章机器学习概述

第 3 章线性模型

第二部分基础模型

第 4 章前馈神经网络

第 5 章卷积神经网络

第 6 章循环神经网络

第 7 章网络优化与正则化

第 8 章注意力机制与外部记忆

第 9 章无监督学习