对于一个癌症预测系统,输入体检信息预测是否患有癌症。 假如预测准确度能达到99%,那么这个模型看似很好,但是其实不一定。
假如癌症的发病率只有0.01%,当系统预测所有人都是健康的时候,那么准确度也可以达到99.99%。这个模型99.9%还不如baseline的情况,也就是说这个模型是失败的。
对于数据极度偏斜(Skewed Data)的情况,只用准确度是不合适的。
除了准确度,还有精准率(precision)、召回率(recall)和F1 score等衡量标准。
假如我们有如下不平衡数据的混淆矩阵(其accuracy=99.8):
我们可以得到: precision = 8/(8 12) = 40% recall = 8/(8 2) = 80%
也可以将两者结合起来,也就是F1 score。其值等于precision与recall的调和平均值。
即:
以上例子可以计算得到F1为: F1 = 0.53