准确度(accuracy)的陷阱和解决方法

2020-11-12 11:26:13 浏览数 (3)

对于一个癌症预测系统,输入体检信息预测是否患有癌症。 假如预测准确度能达到99%,那么这个模型看似很好,但是其实不一定。

假如癌症的发病率只有0.01%,当系统预测所有人都是健康的时候,那么准确度也可以达到99.99%。这个模型99.9%还不如baseline的情况,也就是说这个模型是失败的。

对于数据极度偏斜(Skewed Data)的情况,只用准确度是不合适的。

除了准确度,还有精准率(precision)、召回率(recall)和F1 score等衡量标准。

假如我们有如下不平衡数据的混淆矩阵(其accuracy=99.8):

我们可以得到: precision = 8/(8 12) = 40% recall = 8/(8 2) = 80%

也可以将两者结合起来,也就是F1 score。其值等于precision与recall的调和平均值。

即:

以上例子可以计算得到F1为: F1 = 0.53

0 人点赞