不同预测算法比较实例(R语言)

预测算法种类很多，不论是为实际问题选择更好的分类器，还是模型优化中判断模型效果，都需要比较不同算法之间的优劣。本文我们将借助样本数据，演示从数据处理－训练－预测－模型比较全流程的操作实例。

实例演示框架

此次我们使用的样本数据共538条，包括18个自变量和1个因变量组成。因变量取0时代表会发生异常，取1时代表不会发生异常。整体演示框架如下：

分步讲解

step1

导入数据后，观察y值的取值分布，发现整体样本较少，且正样本数与负样本数比例仅为4:10，因此需要扩充样本并进行正负样本平衡，这里我们使用SMOTE方法。

对数据扩充平衡后，使用LOF方法，删除异常点。根据下方异常值得分密度图，将得分超过3的点作为异常点剔除。

剔除后，数据分布如下：

step2

对处理后数据进行训练集与测试集划分，使用三种算法在训练集上构建分类器，在测试集上比较结果。

首先使用随机森林构建分类器。在构建随机森林分类器时，根据OBB误差最小选择合适的mtry值，再根据树的棵树与误差图选择合适的ntree值。

确定好参数后，训练最终分类器，并可得到变量重要性排序。

构建好随即森林分类器后，继续将逻辑回归及svm分类器构建完毕，然后将三个分类器分别对测试集进行预测。

step3

通过roc曲线比较三个分类器效果。在本例中，随即森林效果最好，逻辑回归效果最差。

完整代码