一、机器学习
1. 基本概念
1）机器学习的分类
- 有监督学习、无监督学习、半监督学习
- 有监督学习：数据做标注，模型同时接受输入 输出，主要包括回归、分类问题
- 无监督学习：数据不做标注，模型只接收输入，主要包括聚类
- 半监督学习：有监督、无监督学习结合
- 基于模型的学习、基于实例的学习
- 批量学习、增量学习
2）机器学习的基本问题
- 回归问题：预测结果是连续的
- 分类问题：预测结果是离散的
- 聚类问题：无监督学习，根据样本的相似程度，将相似度高的划分到同一个聚簇中
- 降维问题：缩小数据的维度、规模
3）机器学习的一般过程
- 数据收集 → 数据清洗 → 选择模型 → 训练 → 评估 → 测试 → 应用及维护
2. 数据预处理
1）标准化：将样本处理为每列均值为0、标准差为1
2）范围缩放：将每列最小值转换为0，最大值转换为1
3）归一化：将数据转换为0~1之间的百分比（按行）
4）二值化：将数据转换为0/1两个值
5）独热编码：将数据转换为一个1和一串0
6）标签编码：字符串转换为数字
3. 回归问题
1）线性回归
- 线性模型：y=wTx by = w^T x by=wTx b
- 线性回归：利用线性模型做回归（样本基本呈线性分布）
- 损失函数：度量预测值（模型计算）、真实值（样本）之间的差异
- 梯度下降法：沿着损失函数梯度相反的方向，对模型参数进行优化 wi=wi ΔwiΔWi=−η∂E∂wiw_i = w_i Delta w_i \ Delta W_i = - eta frac{partial E}{partial w_i} wi=wi ΔwiΔWi=−η∂wi∂E
- 两个变种
- Lasso回归：在标准线性回归损失函数上增加L1正则项
- 岭回归：在标准线性回归损失函数上增加L2正则项
2）多项式回归
- 多项式回归：引入高次项，用于样本呈非线性分布情况
- 多项式回归系数是线性的，可以理解为线性回归的扩展
- 欠拟合与过拟合
- 欠拟合：拟合程度不够，模型没有学习到数据的真实变化规律，表现为训练集、测试集下准确率都比较低。解决方法：增加模型复杂度、增加特征
- 过拟合：模型过分拟合与训练样本，导致泛化能力不足，表现为在训练集准确率较高、测试集下准确率较低。解决方法：增加样本数量、简化模型、减少特征数量
3）决策树回归
见分类部分
4）评价指标
- R2系数
- 均方差
4. 分类问题
1）逻辑回归
- 定义：二分类问题，先利用回归模型预测一个连续值，然后通过逻辑函数离散化
- 逻辑函数（sigmoid）：y=11 e−xy = frac {1}{1 e^{-x}}y=1 e−x1
- 损失函数：交叉熵
- 二分类模型实现多分类：多个二分类模型
2）决策树
- 定义：利用"同因同果"原理，构建一个树状结构，将具有相同属性的样本划分到同一个子节点下，利用投票法实现分类，求均值实现回归
- 信息熵：描述一组数据混乱或有序的程度
- 特征选取
- 信息增益：划分子节点前的信息熵、划分后的信息熵的差值
- 增益率：信息增益 / 固有熵
- 基尼系数
- 决策树的枝剪：预枝剪，后枝剪
- 集成学习
- 强关联：Boosting，AdaBoosting
- 弱关联：Bagging，随机森林
3）支持向量机
- 定义：二分类模型，寻找一个最优线性分类边界，使得支持向量（离分类边界最近的样本）到分类边界间隔最大化
- 分类边界的要求：正确性、公平性、安全性、简单性
- 线性可分、线性不可分
- 核函数：将线性不可分问题转换为高纬度空间下的线性可分
- 线性核函数
- 多项式核函数
- 高斯核函数
4）朴素贝叶斯
- 贝叶斯定理
P(A∣B)=P(A)P(B∣A)P(B)P(A|B) = frac{P(A)P(B|A)}{P(B)} P(A∣B)=P(B)P(A)P(B∣A)
- 朴素贝叶斯：假设特征是独立的，利用贝叶斯定理计算属于每个类别的概率
5. 聚类问题
1）定义：无监督学习，根据样本的相似度，将其划分放到不同的聚簇，同一个聚簇样本相似度较高，不同的聚簇样本相似度较低
2）样本相似度的度量：距离
- 欧氏距离
- 曼哈顿距离
- 切比雪夫距离
- 闵氏距离
3）聚类的划分
- 基于原型（或基于划分）的聚类：如k-means
- 基于密度的聚类：DBSCAN
- 基于层次的聚类：凝聚层次
- 聚类算法的比较 比较项 K-Means DBSCAN 凝聚层次 类别 基于原型 基于密度 基于层次 聚类中心 有 无 无 是否提前设置K 是 否 是 噪声是否敏感 敏感 不敏感 不敏感
- 评估指标：轮廓系数
6. 模型评估与优化
1）分类问题性能度量
- 正确率（Accuracy）: 分类正确数量 / 总样本数量
- 错误率（Error rate）：分类错误数量 / 总样本数量
- 查准率（Precision）：TP / (TP FP)
- 召回率（Recall）：TP / (TP FN)
- F1：2 * 查准率 * 召回率 / (查准率 召回率)
- 混淆矩阵
2）交叉验证：将数据集划分成K个折叠，每次以其中一个折叠作为测试集，其它作为训练集，这样相当于获得了K个不同数据集。主要用于样本较少的情况
3）学习曲线、验证曲线
- 学习曲线：比较不同规模训练数据对模型影响
- 验证曲线：比较不同参数对模型影响
4）超参数的选择
- 超参数：不是通过学习得来的，而是通过经验、实验对比确定
- 决策树深度、叶子节点最少样本数量
- 正则强度
- 正态分布中期望值、标准差
- 随机森林树的棵树
- 学习率
- 网格搜索：将所有取值进行穷举组合，选出最优的组合
- 随机搜索：随机产生值，再进行穷举组合
二、深度学习
1. 感知机与神经网络
1）感知机：神经元，接收多个输入x1,x2,...,xnx_1, x_2, ..., x_nx1,x2,...,xn, 根权重矩阵相乘，产生输入。可以作为分类器、回归器，解决线性问题；更多的神经元组成神经网络
2）神经网络：多个神经元组成的层状、有向五环结构。通用近似定理证明，神经网络只需要一个隐藏层，该隐藏层包含足够多的神经元，在激活函数作用下，能够以任意精度模拟任意连续型函数
2. 激活函数
1）作用：将神经网络输出由线性转换为非线性
2）常用激活函数
- sigmoid：平滑、连续；缺点是梯度消失
- tanh：平滑、连续；缺点是梯度消失；根sigmoid相比收敛速度跟快
- relu：计算简单，避免了梯度过大、过小的问题
- softmax：用于神经网络输出层，将神经网络输出层的数值转换为一组概率
3. 损失函数与梯度下降
1）损失函数：度量真实值、预测值之间的差异，用来评估模型的优劣
- 均方差：回归问题使用
- 交叉熵：分类问题使用
2）梯度下降：沿着梯度负方向逐步调整每个模型参数
4. 反向传播算法
1）作用：深度神经网络中求隐藏层的参数梯度
2）链式求导法则
5. 卷积神经网络
1）卷积：两个函数在某个维度上的加权叠加
2）卷积神经网络：加入了卷积操作的神经网络，一般结构：
输入 --> 卷积/激活/池化 --> … --> 全连接
3）卷积神经网络各层的作用
- 卷积层：提取特征（主要作用）、降维
- 激活层：激活运算
- 池化层：降维，提升泛化能力。池化类型：max， average
- 全连接：分类器
- dropout：防止过拟合
- Batch Normal：防止梯度消失、防止过拟合、增加模型稳定性、加快收敛速度
4）经典卷积神经网络：LeNet，AlexNet，VGG，GoogLeNet，ResNet
三、计算机视觉
1. 数字图像基础
1）成像原理
2）图像存储方式：灰度图像单通道矩阵，彩色图像多通道矩阵
3）色彩空间：RGB, HSV, YUV…
4）灰度级：像素灰度值取值范围，当前采用的是256个灰度级
5）色彩变换
- 灰度化：彩色图像转灰度图像，平均值法、最大值法、加权平均值等
- 二值化：将灰度图像转换为只包含0/255两个值
- 色彩通道操作
- 灰度直方图、直方图均衡化处理
6）形态变换
- 仿射变换：简单线性变换，主要包括旋转、平移、镜像
- 透视变换
- 缩放：插值法（最邻近插值、双线性插值）
- 裁减
- 形态学梯度：腐蚀、膨胀、开运算、闭运算
7）梯度相关
- 模板运输：包括模板卷积、模板排序。利用不同的模板运算，能实现图像的模糊、锐化、边沿提取等等功能
- 模糊处理：中值滤波、均值滤波、高斯滤波
- 边沿提取：Sobel，拉普拉斯变换，Canny算法
- 轮廓查找、绘制
2. 深度学习图像识别
1）图像分类
- 过程：原图 --> 特征提取 --> 分类模型
- 分类模型：LeNet，AlexNet，VGG，GoogLeNet，ResNet
2）目标检测
- 原理：局部分类 回归（定位）
- 两阶段检测、一阶段检测
- 两阶段：先产生候选区，再做分类和回归。R-CNN系列
- 一阶段：直接分类和回归。YOLO系列、SSD
- 候选区域产生方式
- 滑动窗口法：检测精度高，效率极低
- Selective Search算法：图像算法，计算相邻区域相似度
- RPN网络：特征图上产生候选区域预测
- IOU：真实边框、预测边框交集与并集比率
- 多尺度检测与特征融合：在大小不同的特征图上进行检测；特征融合指将大小不同的特征图融合在一起
- R-CNN系列、YOLO系列
3）OCR专题
- OCR模型包含两部分：文字检测、文字识别
- 检测模型
- CTPN模型：适合做水平文字检测
- SegLink：适合做带角度文字检测
- 识别模型：CRNN CTC
4）人脸检测与人脸识别
- 人脸检测：MTCNN
- 人脸识别：孪生网络、三元神经网络、DeepFace、FaceNet
5）图像分割
- 原理：对图片中每个像素进行分类
- 分割粒度：语义分割、实例分割、全景分割
- 评价指标
- 像素精度
- 平均像素精度
- 平均交并比
- 常用模型
- FCN
- U-Net
- Mask R-CNN
- DeepLab系列：空洞卷积、条件随机场、多尺度池化…
四、关于项目的问题
1）如何构建数据集
- 收集/采集数据
- 数据清洗
- 分门别类存放、标注
2）数据从哪里来？
- 历史交易发生过的数据（价值最高）
- 采集（时间、成本较高）
- 购买（很多数据买不到）
- 爬虫（合规性）
- 公共数据集（价值不高）
3）数据量究竟多大？
- 深度学习：数据量越多越好（单个类别达百数量级）
4）数据不够如何处理？
- 数据增强
- 选择在少量样本下性能不错的模型（SVM，U-Net）
5）样本极度不均衡如何处理？
- 对极少量样本进行过采样（直接复制）
6）选用的模型是什么？为什么？
- 根据实际问题以及问题的难以程度，首选现有的、经典的、成熟的模型。简单的问题选择简单模型，复杂的问题选择复杂模型
- 如果不确定使用哪个模型，通过实验对比择优选择
- 在有些情况下，可以采用多个模型配合使用，发挥各自特长
7）什么情况下选择纯图像，什么情况下选择深度学习？
- 纯图像：不需要理解图像内容；问题简单、图像变化较小、干扰较少
- 深度学习：需要理解图像内容和场景；问题复杂、图像变化较大、干扰较多、需要模型有较强的泛化能力
8）数据如何标注？谁来标注？
- 标注：分类问题、目标检测、分割问题标注方式不一样
- 谁来标注
- 大企业：专门标注人员或团队
- 中小企业：开发人员、技术团队自己标注
- 有些数据需要专业知识才能进行标注
9）模型训练时间
- 估算
- 实际项目中采用增量训练
10）为什么不采用xxx模型？
- 效果
- 最好说出模型的特点
11）模型如何部署、使用？
- 部署方式：服务器部署、客户端部署、嵌入式设备部署
- 封装成网络服务、封装成类/函数供用户调用
12）准确率是多少？
- 实际项目中一般达到95%以上
13）关于项目的细节
- 什么型号的GPU？
- 什么型号的工业相机？相机分辨率是多少？
- 相机如何安装？每秒钟多少帧？
- 项目几个人？如何分工？
14）简历中项目需要描述清楚的问题
- 需求：用在哪里？谁来用？解决什么问题？
- 数据集：来源、数量、预处理手段
- 模型选择、优化过程
- 过拟合、欠拟合现象？处理方式
- 效果
五、项目示例
1）芯片质检
- 样本：芯片高清图像
- 技术路线：OpenCV图像技术
- 技术点：灰度处理、二值化、膨胀、轮廓检测、轮廓实心填充
2）胶囊质检
- 样本：胶囊高清图像
- 技术路线：OpenCV图像技术
- 技术点：灰度处理、二值化、膨胀、模糊、霍夫变换、像素计算、轮廓查找/绘制/面积周长计算
3）瓷砖瑕疵检测
- 样本：1000多个瓷砖样本，包含7个类别（正常、空洞、裂缝、缺块、色板、刮痕、其它）
- 预处理：旋转、镜像增强后，达到4万个以上样本
- 模型：普通CNN
- 关键参数：输入图像256*256，学习率0.0001~0.00001
- 准确率：测试集下达到97%以上
4）目标检测项目案例
- 判断腰椎间盘突出
- 检测润滑油企业储油罐盖子处于开/关状态
- 检测输油管道关键节点是否漏油
- 检测高速公路上有没有滚石、滑坡、泥石流
- 检测高速公路隧道有没有裂缝、渗水
- 农作物、林地害虫检测
- 消防起火点检测（冒烟、起火）
- 发电厂冒烟、起火点检测
- 居民楼电动车入户检测
- 安检系统：检测违禁物品
5）图像分割
- 工业产品瑕疵区域检测与分割
- 检测道路病害（裂缝、龟裂、坑槽）
