交叉验证法(cross validation)

1.问题引入

基于一些已知样本，根据其变量（是否出现胸痛、是否有良好的血液循环、是否有闭锁的动脉、体重指标），预测其是否患有心脏病（左侧）。接着，出现一个新来的患者，我们可以测量或询问这些变量，然后基于这些变量预测其是否患有心脏病（右侧）。

2.交叉验证法的作用

要回答上面的问题，首先需要决定使用哪种机器学习方法。可供选择的机器学习算法有很多种，如logistic回归(logistic regression)、K-最近邻居法(K-nearest neighbors)、支持向量机（SVM）等等。但是我们应该选择哪种方法呢？

交叉验证法能帮助我们实现多种机器学习方法的比较，并有助于我们了解这些方法在实际数据中的性能。

3.机器学习的2个主要内容

假设蓝色的柱子代表我们收集到的所有样本（包括患有心脏病和不患有心脏病的患者）。基于该数据，我们需要完成两件主要的事情：

（1）估计每一种机器学习方法的参数。

如利用部分数据确定logistic回归的曲线的参数以决定该曲线的形态。在机器学习中，估计模型参数被称为训练算法（training the algorithm）。

（2）评估该模型的性能。

如我们需要评价已训练的模型是否在新数据中表现良好，例如已经训练好的logistic模型是否能在新的数据中表现出良好的预测性能。在机器学习中，评估一种模型性能被称为测试算法（testing the algorithm）。

4.交叉验证法在机器学习中的重要作用

正如我们在前面一小节学到的那样，实现机器学习的两大内容，需要训练数据集和测试数据集。参考：机器学习简介。

糟糕的方法：使用所有的数据训练机器学习方法。因为如果将所有的样本数据用作训练数据，我们将没有可用作测试数据的样本。重复使用该数据作用测试数据，将不利于评估模型在训练样本以外的样本中的性能。这就好比一个老师教授知识，然后又由同一个老师出题考试，自然是考验不出学生们的真实水平。

相对较好的方法：将所有样本的前75%用作训练样本，余下的25%作为测试样本。接着比较不同机器学习方法在该训练样本和测试样本中的性能。这样的话，就可以在训练数据集以外的数据集中进行模型测试，好比找一个其他老师来出题，更能体现学生的知识掌握程度。

更好的办法：交叉验证法。四折交叉验证法（four-fold cross validation）将样本随机分成4份，其中任意3份均用作训练样本，剩余1份用作测试样本。依次记录每一种方法在每一次测试样本中的表现（正确分类的样本数、错误分类的样本数）。

5.常见的交叉验证模型

5.1 四折交叉验证

前面介绍了交叉验证在机器学习中的重要作用，下面我们介绍常用的交叉验证方法。将所有的样本随机均分成4份。
- 第一次：使用前3份作为训练集训练模型，第4份作为测试集测试模型，记录模型在测试集中的表现情况。正确5个人，错误1个。
- 第二次：使用第1,2,4份作为训练集训练模型，第3份作为测试数据集测试模型，记录模型在测试数据集中的表现情况。正确4个，错误2个。
- 第三次：使用第1,3,4份作为训练集训练模型，第2份作为测试数据集测试模型，记录模型在测试数据集中的表现情况。正确1个，错误5个。
- 第四次：使用第2,3,4份作为训练集训练模型，第1份作为测试数据集测试模型，记录模型在测试数据集中的表现情况。正确6个，错误0个。
- 汇总不同模型4次在测试数据集中的判断结果。将每种方法的总体结果进行比较：如支持向量机（SVM）在测试样本中的正确分类个数为18，错误分类个数为6，其表现性能优于其他两种方法（logistic 回归）和KNN(K-最近邻居法)。故我们可以考虑选择SVM。

5.2 留一法交叉验证

交叉验证中，样本可以被等分成任意等份。极端的例子是留一法交叉验证（leave one out cross validation），将n个样本等分成n等份，任意一份均被当做测试数据。方法和原理同四折交叉验证。

5.3 十折交叉验证

最常见的交叉验证是十折交叉验证（ten-fold cross validation），将所有样本进行十等分，其中任意一等份均被当为测试数据。如下图所示，蓝色对应的9/10样本依次作为训练数据集训练模型，黄色对应的1/10样本依次被当做测试数据集测试模型，这样的方法被称为十折交叉验证。具体如何利用十折交叉模型判定不同模型的优劣，请参见四折交叉模型。