人工智能、机器学习与深度学习的关系
人工智能包含机器学习，机器学习包含深度学习。历史从推理为重点，到以知识为重点，再到以学习为重点的清晰脉络。1950年代明确提出来人工智能。
机器学习关注如何在数据（经验）学习中（自动学习和）改进算法的性能。学习的目的就是让机器获得知识。
深度学习属于机器学习的分支，是基于对数据进行表征学习的算法。2006年提出来的。人工神经网络为架构，以数据为基础进行表征学习的算法。模拟人脑来学习，来解释数据。包含多层非线性处理单元，每层都是用来进行特征的提取和转换，每层都会使用前一层的输出来作为输入。
机器学习和深度学习都是从数据中获得特征的表征，进而进行表征学习。
机器学习
定义1：机器学习是对能通过经验自动改进的计算机算法的研究，即研究用数据自动优化自己的算法。
定义2：机器学习是用数据或过往经验优化计算法程序的性能，即用数据优化算法性能。
此处，经验 == 数据。
最简单的，用6个字表述：数据优化算法。 再加4个字：数据自动优化算法性能。
注意，这个定义也适用于深度学习。
反过来想，那些不是机器学习的算法，是不会因为有数据而自动改进其性能的，算法性能是在写好后就固定的。
机器学习的目标就是建立映射关系
在机器学习算法眼里，数据就是一堆特征的集合，学习的目标就是找到特征和标签的映射关系，即哪些特征组合可以映射为哪种标签。
学习映射关系是一个过程，需要反复优化迭代，这个过程就称为训练。训练完成的结果，是得到一个机器学习模型。
训练数据集和测试数据集。
总结：算法自动分析数据，从中找到规律，并对未来数据进行判断。
根据标签和环境交互方式区分机器学习：
- 监督学习（有标签）
- 无监督学习（无标签）
- 强化学习(标签一直在变)
监督学习
关键是给数据做好标注，标注出来正确答案，与人类的“概念学习”类似。
无监督学习
学习过程不给出指导，数据也没有标签，没有正确答案。算法自动学习数据中的共同特征，把类似的聚在一起，也叫“聚类Clustering”，更像人类的自学。这种算法是静态分类，应该有对应地动态分类（强化学习？）。
深度学习
使用神经网络作为算法模型。历史上是由人脑神经元传递信息的方式启发的，但现在的神经网络研究，与生物学的大脑神经系统研究，已经基本没有关系。
分层网络结构，类似于大脑中的神经元排列。非常擅长从数据中学习。“深度”指的是网络的层数，从2-3层到150层，将数据抽象成分层的数据信息。
学习的过程是由网络层之间的连接，和各个连接的权重来定义的。在训练中间，这些连接会自动调整，直到给出正确的答案。
机器学习和深度学习的关系
通过四点对比来展示
- 特征处理（特征工程）：
- 机器学习依赖高质量的数据，依赖于提取出的特征的准确度，特征提取的过程需要专家来完成。
- 深度学习可以从数据中习得并自行构建新的高等级的特征，省去了“特征提取器”的工作。例如，卷积神经网络就会在浅层网络中学习低等级的特征比如汽车的线条和边界，在较深层网络中部分汽车特征，在最深层处学习到抽象的汽车特征。
- 学习方法
- 机器学习讲问题拆解为小问题，逐个解决问题，最后汇总。
- 深度学习直接端到端解决问题，不拆分汇总。
- 数据依赖性
- 机器学习少量数据就可以做出预测。人为制定规则，可解释性。
- 深度学习需要大量数据。注意越深层的网络，解释性也不好，即你无法解释每层做了什么，为什么要这样做。
- 硬件依赖性
- 机器学习可以在低端机器上工作，不需要大量计算能力
- 深度学习依赖可以执行大量矩阵乘法运算的高端机器，GPU可以优化这些运算。
