模型评估：评价指标-附sklearn API

2021-10-19 16:36:06 浏览数 (1)

模型评估

有三种不同的方法来评估一个模型的预测质量：

  • estimator的score方法：sklearn中的estimator都具有一个score方法，它提供了一个缺省的评估法则来解决问题。
  • Scoring参数：使用cross-validation的模型评估工具，依赖于内部的scoring策略。见下。
  • 通过测试集上评估预测误差：sklearn Metric函数用来评估预测误差。

评价指标(Evaluation metrics)

评价指标针对不同的机器学习任务有不同的指标，同一任务也有不同侧重点的评价指标。

主要有分类（classification）、回归（regression）、排序（ranking）、聚类（clustering）、热门主题模型（topic modeling）、推荐（recommendation）等。

1 分类评价指标

分类有二分类和多分类，二分类主要“是”和“不是”的问题，可以扩展到多分类，如逻辑回归->SoftMax。

1.1 准确率

分类中，使用模型对测试集进行分类，分类正确的样本个数占总样本的比例：

accuracy= frac{n_{correct}}{N_{total}}

问题：

  1. 不同类别样本无区分：各个类平等对待，而实际中会针对不同类有所区分，例如医疗上侧重正例的召回（假阴性：不要漏诊疾病），垃圾邮件侧重垃圾邮件的精度（假阳性：正常邮件不被误分）。
  2. 数据不平衡：对于数据分布不平衡情况下，个别类别样本过多，其他类别样本少，大类别主导了准确率的计算。（平均准确率解决此问题）

SKlearn API

代码语言：javascript复制
from sklearn.metrics import accuracy_score
# y_pred是预测标签
y_pred, y_true=[1,2,3,4], [2,2,3,4]
accuracy_score(y_true=y_true, y_pred=y_pred)

1.2 平均准确率

针对不平衡数据，对n个类，计算每个类别i的准确率，然后求平均：

average_accuracy = frac{sum accuracy_i}{n}

缺点：某些类别样本数很少，测试集中该类别的准确率 方差会很大（统计变量偏离程度：高）。

代码语言：javascript复制
from sklearn.metrics import average_precision_score
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
average_precision_score(y_true=y_true, y_score=y_pred)

1.3 对数损失（Log-loss）

针对分类输出不是类别，而是类别的概率，使用对数损失函数进行评价。这也是逻辑回归的分类函数，下面是二分类的损失函数。

Log_loss = -frac{1}{N} sum_{i=1}^N y_i log p_i (1-y_i) log(1-p_i)
y_i

表示第i个样本类别0或1。

p_i

表示其输入类别1的概率。其实就是真实值域预测值得交叉熵，包含了真实分布的熵加上假设与真实分布不同的分布的不确定性，最小化交叉熵，便是最大化分类器的准确率。

代码语言：javascript复制
from sklearn.metrics import log_loss
y_true, y_pred = [0,0,1,1], [[0.9,0.1],[0.8,0.2],[0.3,0.7],[0.01,0.99]]
print(log_loss(y_true,y_pred))

1.4 基于混淆矩阵的评估度量

1.4.1 混淆矩阵

混淆矩阵通过计算各种分类度量，指导模型的评估。

Predicted: 0

Predicted: 1

Actual: 0

TN

Actual: 1

FN

  • 真阳性（True Positive，TP）：指被分类器正确分类的正例数据
  • 真阴性（True Negative，TN）：指被分类器正确分类的负例数据
  • 假阳性（False Positive，FP）：被错误地标记为正例数据的负例数据
  • 假阴性（False Negative，FN）：被错误地标记为负例数据的正例数据
代码语言：javascript复制
from sklearn.metrics import confusion_matrix
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
confusion_matrix(y_true=y_true, y_pred=y_pred)

1.4.2 精确率(Precision)

所有分正确的正样本/所有预测为正类的样本数。

Precision = TP/ (TP FP)

1.4.3 召回率(Recall)

所有分正确的正样本/所有的正样本数:

Recall = TP/ (TP FN)

1.4.4 F1-score

精确率和召回率两者一般同时使用，F1-score中和了二者的评估：

F1 score = frac{2*Precision*Recall}{Precision Recall}

sklearn中classification_report可以直接输出各个类的precision recall f1-score support

代码语言：javascript复制
from sklearn.metrics import classification_report
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
print(classification_report(y_true=y_true, y_pred=y_pred))

1.5 AUC(Area under the Curve(Receiver Operating Characteristic, ROC))

Auc是ROC(Receiver Operating Characteristic)曲线下的面积。在此再次召唤出混淆矩阵：

Predicted: 0

Predicted: 1

Actual: 0

TN

Actual: 1

FN

TPR（True Positive Rate）

分类器分类正确的正样本个数占总正样本个数的比例：

TPR = TP/ (TP FN)

FPR（False Positive Rate）

分类器分类错误的负样本个数占总负样本个数的比例：

FPR = FP/(TN FP)

ROC曲线

描述分类器的True Positive Rate与False Positive Rate之间的变化关系。

绘制ROC曲线。

代码语言：javascript复制
import matplotlib.pyplot as plt 
from sklearn.metrics import roc_curve, auc
# y_test：实际的标签, dataset_pred：预测的概率值。
fpr, tpr, thresholds = roc_curve(y_test, dataset_pred)
roc_auc = auc(fpr, tpr)  
#画图，只需要plt.plot(fpr,tpr),变量roc_auc只是记录auc的值，通过auc()函数能计算出来  
plt.plot(fpr, tpr, lw=1, label='ROC(area = %0.2f)' % (roc_auc))
plt.xlabel("FPR (False Positive Rate)")
plt.ylabel("TPR (True Positive Rate)")
plt.title("Receiver Operating Characteristic, ROC(AUC = %0.2f)"% (roc_auc))
plt.show()

AUC

AUC即为ROC曲线下的面积，同时证明AUC与Wilcoxon-Mann-Witney Test是等价的。其计算公式：

AUC = frac{sum_{i in positive Class} Rank_i - frac{M(1 M)}{2}}{M * N}

M为正类样本的数目，N为负类样本的数目，

Rank_i

是样本i模型预测概率的排名。

代码语言：javascript复制
from sklearn.metrics import roc_auc_score
# y_test：实际的标签, dataset_pred：预测的概率值。
roc_auc_score(y_test, dataset_pred)

2. 回归评价指标

回归是对连续的实数值进行预测，而分类中是离散值。

2.1 RMSE

RMSE（root mean square error，平方根误差），定义为：

RMSE = sqrt{frac{sum_{i=1}^n (y_i - hat{y_i})^2 }{n}}

其中，

y_i

是真实值，

hat{y_i}

是预测值，n是样本数量，使用了欧式距离。

缺点：平均值是非鲁棒的，对于异常点敏感，如果某个异常点误差大，整个RMSE就会比较大。

2.2 均方差（mean squared error）

MAE(y,hat{y}) = frac{1}{n_{samples}} sum_{i=1}^n (y_i - hat{y_i})^2
代码语言：javascript复制
from sklearn.metrics import mean_squared_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
mean_squared_error(y_true, y_pred)

2.3 平均绝对误差（mean_absolute_error）

$$

MAE(y,hat{y}) = frac{1}{n_{samples}} sum_{i=1}^n |y_i - hat{y_i}|

$$

代码语言：javascript复制
from sklearn.metrics import mean_squared_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
mean_squared_error(y_true, y_pred)

2.4 中值绝对误差（Median absolute error）

MedianAE=median(|y_i− hat{ y}_i|)
代码语言：javascript复制
from sklearn.metrics import median_absolute_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
median_absolute_error(y_true, y_pred)

2.5 R2 决定系数（r2_score）

R^2 = 1- frac{sum_{i=1}^n (y_i - hat{y_i})^2}{sum_{i=1}^n (y_i - bar{y}_i)^2}
代码语言：javascript复制
from sklearn.metrics import r2_score
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
r2_score(y_true, y_pred)

问题

  1. 目标是什么？
  2. 使用什么评价指标？
  3. 提升多少才算真正的提升？
  4. 指标采用平均值，基于评价指标满足高斯分布的假设，那么评价指标是否满足高斯分布？

sklearn 评价指标

Scoring

Function

Comment

Classification

‘accuracy’

metrics.accuracy_score

‘average_precision’

metrics.average_precision_score

‘f1’

metrics.f1_score

for binary targets

‘f1_micro’

metrics.f1_score

micro-averaged

‘f1_macro’

metrics.f1_score

macro-averaged

‘f1_weighted’

metrics.f1_score

weighted average

‘f1_samples’

metrics.f1_score

by multilabel sample

‘neg_log_loss’

metrics.log_loss

requires predict_proba support

‘precision’ etc.

metrics.precision_score

suffixes apply as with ‘f1’

‘recall’ etc.

metrics.recall_score

suffixes apply as with ‘f1’

‘roc_auc’

metrics.roc_auc_score

Clustering

‘adjusted_rand_score’

metrics.adjusted_rand_score

Regression

‘neg_mean_absolute_error’

metrics.mean_absolute_error

‘neg_mean_squared_error’

metrics.mean_squared_error

‘neg_median_absolute_error’

metrics.median_absolute_error

‘r2’

metrics.r2_score

absolute error mean metrics precision

0 人点赞