【数据挖掘】神经网络简介 ( 有向图本质 | 拓扑结构 | 连接方式 | 学习规则 | 分类 | 深度学习 | 机器学习 )

文章目录

• I . 神经网络 ( Neural Networks ) 简介
• II . 神经网络三要素
• III . 神经网络拓扑结构
• IV . 神经网络连接方式
• V . 神经网络学习规则
• VI . 浅层神经网络 与 深度神经网络
• VII . 深度学习 简介
• VIII . 机器学习 简介
• IX . 深度学习 与 机器学习 建模对比
• X . 深度学习 与 机器学习 性能对比

I . 神经网络 ( Neural Networks ) 简介

神经网络简介 :

1 . 神经网络组成 : 由 一组 连接的 输入 和 输出单元 组成 , 每个连接都有一个 权值 ( 系数 ) ;

2 . 神经网络本质 : 神经网络本质是一种特殊的 有向图 , 有向图由 节点 和 有向弧 组成 , 节点就是 神经元 , 有向弧就是神经元单元之间的 连接 ;

3 . 神经元分层 : 神经网络中的神经元由多层组成 , 层间的神经元单元没有连接 , 神经元单元只能连接相邻的两层 ( 上层 / 下层 ) 中的神经元单元 ;

4 . 学习过程 : 学习过程中 , 调整每个连接的 权值 , 使 神经网络 预测分类 的准确性 逐步提高 ; 开始时给一组默认的初始权值 , 学习过程中 , 逐步调整 , 使其与真实数据进行拟合 , 逐步提高其预测准确性 ;

5 . 连接者学习 : 学习过程是调节单元之间的连接的权值的过程 , 神经网络学习 又称为 连接者学习 ;

6 . 神经网络基础 : 模拟大脑中 神经元 数学模型 , 以该模型为基础建立神经网络 , 每个 输入 / 输出 单元 都是一个 神经元 , 单元之间互相连接 , 并且每个连接都有不同的 权重属性 ;

7 . 信息处理模型 : 神经元 是一个 多输入 , 单输出 , 的 信息处理单元 , 根据其该特性 , 将神经元抽象成该特征的数学模型 ;

II . 神经网络三要素

神经网络三要素 : ① 拓扑结构 , ② 连接方式 , ③ 学习规则 ; 根据上述三要素的特征 , 对神经网络进行分类 ;

III . 神经网络拓扑结构

神经网络拓扑结构 :

① 根据层数分类 : 按照层次排列神经网络单元 , 根据该神经网络排列的层次数 , 可以分为 单层神经网络 , 两层神经网络 ,

,

层神经网络 ;

② 神经网络结构 与 性能 : 结构越简单 , 学习时参数收敛速度快 , 代价是准确度低 ;

③ 神经网络复杂度 : 神经网络的层数 , 每层单元数 , 由问题复杂程度决定 , 越复杂的问题 , 层数及每层单元数就越多 ;

④ 针对线性问题的神经网络 : 使用两层神经网络可解决 ;

⑤ 针对多元非线性问题的神经网络 : 需要使用多层神经网络解决 ;

IV . 神经网络连接方式

1 . 神经网络连接强度 : 神经网络层次间的连接 , 和层次内部的连接 , 每个连接都有一个强度 , 用 权 表示该强度 ;

2 . 根据层次间连接方式对神经网络进行分类 :

① 前馈式网络 : 该连接是单向连接 , 前一层单元输出 是 后一层单元输入 ; 如 Kohonen 网络 , 反向传播网络 ;

② 反馈式网络 : 在前馈式网络基础上 , 将最后一层单元的输出继续作为第一层单元的输入 ; 如 , Hopfield 网络 ;

3 . 根据连接范围对神经网络分类 :

① 全连接神经网络 : 每一层中的单元 , 与前一层的 所有单元 , 后一层的 所有单元 , 都连接起来 ;

② 局部连接神经网络 : 每一层的单元 , 与前一层的 部分单元 , 后一层的 部分单元 , 都连接起来 ;

V . 神经网络学习规则

1 . 神经网络学习方法 :

① 感知器 : 有监督的学习方法 , 给出已知的训练集 , 学习过程中指导模型的训练 ;

② 认知器 : 无监督的学习方法 , 训练集未知 , 各个单元竞争学习 ;

2 . 神经网络学习和使用 :

① 离线网络 : 学习 和 使用 , 两个过程是独立的 ; 先训练神经网络 , 然后再使用 ;

② 在线网络 : 学习 和 使用 , 两个过程是同步的 ; 一边训练 , 一边使用 ;

3 . 神经网络学习规划 : 调整神经元连接权系数的方式 ;

① 相关学习网络 : 根据单元之间的连接的激活水平 , 调整神经元连接权系数 ;

② 纠错学习网络 : 根据输出单元的外部反馈 , 调整神经元连接权系数 ;

③ 自组织学习网络 : 根据输入自适应改变神经元连接权系数 ;

VI . 浅层神经网络 与 深度神经网络

1 . 浅层神经网络 : 拓扑结构 , 连接方式 , 学习规则 , 三方面说明其特征 ;

① Hopfield 网络 : 单层结构 , 反馈型网络 , 神经元单元都是相同的 ;

② 反向传播网络 : 多层结构 , 前馈型网络 , 学习规则是最小均方差纠错 ; ( 用途 , 语言识别 , 分类 )

③ Kohonen 网络 : 自组织网络 , 有输入层和输出层 , 神经元单元是全连接的 ;

④ ART 网络 : 自组织网络 ;

2 . 深度神经网络 : 卷积神经网络 ( CNN ) , 循环神经网络 ( RNN ) , 深度信念网络 ( DBN ) ;

VII . 深度学习 简介

1 . 深度学习 : 在 多层神经网络上 , 解决图像 , 文本 , 等分类问题的 机器学习 算法集合 ;

2 . 深度学习 与 神经网络 : 深度学习属于神经网络范畴 , 但 深度学习 与 神经网络 实践应用 上略有不同 , 深度学习的目的是进行 特征学习 , 通过 分层网络 获取不同层次的 特征信息 , 以此来替代人工的相关工作 ;

3 . 深度学习应用场景 :

① 分类阶段 : 分类过程分为两个阶段 , 学习阶段 , 预测阶段 ;

② 特征工程 : 学习阶段 , 又分为 特征工程阶段 和 模型建立阶段 , 这里的特征工程阶段需要人工将特征提取出来 ;

③ 深度学习应用 : 深度学习 就是在 学习阶段 的 特征工程阶段 , 使用机器来完成该阶段的工作 ;

VIII . 机器学习 简介

机器学习简介 :

① 机器学习算法核心 : 抽取出样本特征后 , 然后使用算法为这些特征赋予权值 , 然后针对这些权值进行优化 ;

② 如 : 支持向量机 , 最终需要优化一个超平面 , 这个超平面表达成

, 其中的

和

两个参数就可以看做权值 , 最终目的是优化这两个权值 ; 其中

就是特征向量 ,

就是该特征的权重 ;

③ 机器学习 需要人参与 : 机器学习 中 , 样本的特征需要人工 设计 , 抽取 , 并且这些特征需要手工输入 ;

④ 与深度学习联系 : 深度学习 可以看做 机器学习 的 子领域 ;

⑤ 与深度学习区别 : 传统的 机器学习 的特征工程是靠人工完成 , 深度学习 中的特征工程靠手动完成 ;

IX . 深度学习 与 机器学习 建模对比

1 . 机器学习建模 : 机器学习 建模阶段 , 有两个步骤 , 特征工程 , 学习算法 ;

① 特征工程 ( 人工完成 ) : 传统机器学习中 , 特征工程需要手工抽取样本特征 , 需要精通该领域的专家才能完成该工作 ;

② 学习算法 ( 计算机完成 ) : 将特征抽取出来 , 优化这个特征的权值 ( 参数 ) 即可 ;

2 . 深度学习建模 : 深度学习 的建模阶段 , 全部靠计算机完成 , 人工不用干预 ;

① 特征抽取 : 靠算法完成 ; 从 音频 , 图像 , 文本 , 中抽取特征 ;

② 性能对比 : 深度学习 自动化抽取特征 , 优于机器学习 手工抽取特征 ;

X . 深度学习 与 机器学习 性能对比

1 . 机器学习的弊端 : 手工抽取的特征太过于具体 , 有一些隐含的深层次的特征被忽略掉了 , 抽取的特征不完整 , 另外还要花很长时间设计和验证这些特征 ;

如 : 先抽取一批特征 , 然后使用机器学习算法 使用 这些特征 创建模型 , 测试模型看预测的额准确性 , 如果预测效果不好 , 在选取其它特征组合 , 继续建立模型测试 ;

2 . 深度学习 优势 : 摆脱了人工限制 , 提供了 灵活的 , 通用的 学习框架 ;

① 不易理解 : 使用 深度学习 抽取的特征 , 不容易解释 , 从输入数据中获取向量 , 这些向量的含义未知 , 不易理解 ;

② 适应性强 : 但这些特征保留了很多深层次的信息 , 适应性很强 ;

③ 信息层次 : 其由表面的 , 语义层次的信息 , 转换到了更深层次的信息 ;

④ 学习速度快 : 相对于手工抽取特征 , 学习抽取特征的过程很快 ;

⑤ 学习场景 : 深度学习既可以用于 有监督学习 , 也可以用于 无监督学习 ;