这是我找的一个Tensorflow的书，作者是刘光聪。书写的非常不错，我也借此机会学习一波。书中的TensorFlow使用的是1.2版本，目前来说算是很新的。 作者在前言里面写到：
这是一本剖析 TensorFlow 内核工作原理的书籍，并非讲述如何使用 TensorFlow 构建机器学习模型，也不会讲述应用 TensorFlow 的最佳实践。本书将通过剖析 TensorFlow 源代码的方式，揭示 TensorFlow 的系统架构、领域模型、工作原理、及其实现模式等相关内容，以便揭示内在的知识。
可以看出，这必定是一本干货满满的书。Github。
基础知识
基础知识
前身
Tensorflow的前身是DistBelief。DistBelief 使用参数服务器 (Parameter Server, 常称为 PS) 的系统架构，训练作业包括两个分离的进程：无状态的 Worker 进程，用于模型的训练；有状态的 PS 进程，用于维护模型的参数。如图1-1所示，在分布式训练过程中，各个模型副本异步地从 PS 上拉取训练参数 w，当完成一步迭代运算后，推送参数的梯度 ∆w 到 PS 上去，并完成参数的更新。
由于其缺乏足够的灵活性和可扩展性，TensorFlow 应运而生，开创了深度学习领域的新纪元。
设计原则
- 延迟计算：图的构造与执行分离，并推迟计算图的执行过程；
- 原子 OP：OP 是最小的抽象计算单元，支持构造复杂的网络模型；
- 抽象设备：支持 CPU, GPU, ASIC 多种异构计算设备类型；
- 抽象任务：基于任务的 PS，对新的优化算法和网络模型具有良好的可扩展性。
优势
开源
2015.11正式开源，并产生巨大影响。
编程环境
代码统计
截止当前最新发布的 1.4 版本，TensorFlow 代码库拥有大约 100 万代码。其中，包括53 万行 C/C 代码，37 万行 Python 代码，而且代码规模在不断膨胀之中。其中，Python提供的 API 是最完善的；相比之下，其他编程语言的 API 尚未成熟，甚至处于起步阶段。
