1.样本集的拆分（正样本、负样本）
- 所谓正样本（positive samples）、负样本（negative samples），对于某一环境下的人脸识别应用来说，比如教室中学生的人脸识别，则教室的墙壁，窗户，身体，衣服等等便属于负样本的范畴。
- 负样本通过采集的方式获取，也可通过生成的方式自动获取：
工作 20x20 大小的人脸检测，为了获取尽可能多的负样本，拍摄一张 1000x1000 像素大小的车的图像，将其拆分为 20x20 大小的片段，⇒ 50x50 也可将 1000x1000 ⇒ 拆分为 10x10 大小，100x100 副负样本图像，为了保持大小的一致，还需进一步将其拉伸到 20x20 的大小；
(1)训练集负样本继续抽样
保留全部正样本，负样本随机抽取一定比例加入训练集；
(2)数据平衡
cascade learning 以及重采样的方法 ==> 实现数据平衡；
2.基础定义
通常在机器学习的二分类领域中，对模型的结果评估是必不可少的，本文主要总结了各个评估指标，对每个指标的定义，作用进行阐述。
TP：True Positive
FP：False Positive
TN：True Negtive
FN：False Negtive
以上四个定义是基础，Positive表示对样本作出的是正的判断，T表示判断正确，F表示判断错误（Negtive类似）。比如TP表示样本为正，我们模型也判断为正，FP则表示模型判断为正，但是判断错误，样本为负。
3.Accaracy，Precision，Recall，F1
Accuracy = （TP TN）/（TP FP TN FN）
准确率，表示在所有样本中分对（即正样本被分为正，负样本被分为负）的样本数占总样本数的比例。
Precision = TP / （TP FP）
精确率，表示模型预测为正样本的样本中真正为正的比例。
Recall = TP /（TP FN）
召回率，表示模型准确预测为正样本的数量占所有正样本数量的比例。
F1 = 2*P*R /（P R）
F1，是一个综合指标，是Precision和Recall的调和平均数，因为在一般情况下，Precision和Recall是两个互补关系的指标，鱼和熊掌不可兼得，顾通过F测度来综合进行评估。F1越大，分类器效果越好。
4.Accuracy和Precision区别
Accaracy和Precision作用相差不大，都是值越大，分类器效果越好，但是有前提，前提就是样本是均衡的。如果样本严重失衡了，Accuracy不再适用，只能使用Precision，举个简单的例子。比如二分类问题为预测癌症的发生，显然在现实世界中，癌症人数在所有人数中的占比通常只是0.5%左右，即正负样本比例为1:200左右，此时一个分类器如果使用Accuracy作为评估指标，则分类器无需花太多功夫，分类器只用把样本全部清一色预测为正常，那么Accuracy也能达到99.5%的准确率，如此高的准确率，但却毫无任何意义，无法应用到实处，泛化能力极差。顾在样本失衡的情况下，Accuracy不再适用，通常使用Precision，同时该场景下ROC，可以用AUC。
5.ROC，AUC
ROC，AUC优点：当数据中的正负样本分布发生变化时，ROC能够保持不变，尤其在样本不均衡的应用场景中。
首先看两个定义：
TPR = TP / （TP FN）真正率，指在所有正样本中，被准确识别为正样本的比例，公式与召回率一样。
FPR = FP / （TN FP）假正率，指在所有负样本中，被错误识别为正样本的比例。又叫误报率，错误接收率。
ROC制作
以TPR为y轴，FPR为x轴，通过不断改变threshold的值，获取到一系列点（FPR，TPR），将这些点用平滑曲线连接起来即得到ROC曲线，Threshold定义为正负样本分类面的阈值，通常的二分类模型中取0.5，在绘制ROC曲线过程中，通常取测试集上各样本的概率预测分值，即predict_prob，将所有样本的概率预测分值从高到低排序，并将这些分值依次作为threshold，然后计算对应的点（FPR，TPR），比如最大的样本预测分值为0.9时，当threshold取0.9时，所有样本分值大于等于0.9的才预测为正样本，小于0.9的预测为负样本。最后加上两个threshold值1和0，分别可对应到（0，0），（1，1）两个点，将这些点连接起来即得到ROC曲线，点越多，曲线越平滑，而ROC曲线下的面积即为AUC。
ROC特点
（1）一个好的分类器应该ROC曲线应该尽量位于左上位置，当ROC为（0，0）和（1，1）两个点的直线时，分类器效果跟随机猜测效果一样；
（2）ROC曲线下方的面积作为AUC，可以用AUC作为衡量分类器好坏的标准，理想的分类器AUC为1，当AUC为0.5时，效果跟随机猜测效果一致；
（3）ROC能很好的解决正负样本分布发生变化的情况，在正负样本分布发生变化的情况下，ROC能够保持不变。 原文：https://blog.csdn.net/frogbar/article/details/78161546
