ROC曲线 和 AUC 直白详解

2019-10-30 13:46:30 浏览数 (2)

ROC曲线

  • 定义

在信号检测理论中,接收者操作特征曲线receiver operating characteristic curve, 或者叫ROC曲线)是一种坐标图式的分析工具, 用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳阈值。

这里我们只要记得 ROC曲线 主要是用来确定一个模型的 阈值。 同时在一定程度上也可以衡量这个模型的好坏

  • 理解 既然我们想要直白来理解 ROC曲线,那么例子是肯定少不了的: 假设1:感冒有三种特征,咳嗽,发烧,流鼻涕。 假设2:如果想确定一个人是否得了感冒, 可以根据三种特征来打分, 每个特征可以打 0-1 分。 打分越高, 得感冒概率越高。 假设3:现在你是一个医生, 有100个病人来看病, 你需要根据这些人的三个感冒特征给他们打分, 得到如下一组数据 (编号,分数): (1,2) (2,2.4) (2,0.4)....(100,3) 假设4:我是一个神医, 能百分百确定别人是否得了感冒。 然后我看了你的报告, 并给每个数据都给了确定的答案, 其中感冒60人,正常40人, 这一步骤主要是模拟实际生产数据中的真实 lab 值。 所以数据就变成了(编号,是否真感冒,分数) (1,0,2) (2,1,2.4) (2,0,0.4).... (100,1,3) 好了,现在问题来了, 你是给每个病人打分了, 也知道分数越高得感冒得概率越高, 但是,到底得没得感冒却没有一个标准, 这个标准就是上面说的 阈值, 所以接下来就是要想办法确定这个 阈值或者标准了, 那么我们采用办法呢? 对于这种 二分类 问题的阈值, 就是我们 ROC 曲线大展身手的时候了。
  • ROC 曲线 和 阈值
    • 阈值比较小的时候: 如果我们认为打 1 分以上的就是感冒患者, 那么只要有一点症状就可以确诊为感冒了, 这时候100个人,确诊感冒的可能有 80 人, 但是实际呢? 可能80个人中只有50个是真感冒的。 如下图:

    阈值=1 诊断感冒 诊断正常 合计 真感冒 60 0 60 真正常 20 20 40 合计 80 20 100 我们可以发现被你诊断为 感冒的 患者中, 有 60 个是 真的患者, 还有 20 个 正常 也被你诊断成了 感冒。

    • 阈值比较大的时候: 如果我们认为打 2 分以上的才是感冒患者, 这时候100个人, 确诊感冒的可能有 20 人, 但是实际呢? 真正感冒的可是60人, 你只确诊20个, 如下图: 阈值=2 诊断感冒 诊断正常 合计 真感冒 20 40 60 真正常 0 40 40 合计 20 80 100 我们可以发现,诊断为感冒的20人,每一个都是真正的患者, 但是同时,一些特征可能不是很明显的真正患者也被你误诊为了正常
    • 什么是合适的阈值 我们期望的是阈值不大不小, 换句话理解就是, 我们希望得到一个使得 如果是患者,那就一定要诊断为患者, 而如果你不是患者,我也不能把你误诊成患者, 那么将这个想法用公式表示出来就是:

    这里我们引入了真阳率 和 假阳率, 其定义如下: 真阳率:预测为真,并且预测正确 占 所有真样本的 比例 假阳率:预测为真,但是预测错误 占 所有非真样本的 比例 这里很明显,我们的 真 就是 患者,非真 就是 正常 人 所以合适的阈值就是:使得 真阳率 趋于 1,并且 假阳率 趋于 0。

    • 寻找合适的阈值 所以我们一点点改变阈值, 就可以得到一组又一组的 真阳率 和 假阳率 , 将这一组组 真阳率 和 假阳率在坐标轴上表示出来, 就是我们要的 ROC曲线, 通过图形化,我们就可以很直观的看到他们的变化了。 这个图只是随便在网上找的, 可不是这个列子的图噢, 我们大概看下 ROC曲线的 样子就好了

    roc.png 其中 x 轴表示 假阳率,y 轴表示 真阳率, 可以发现 假阳率 和 真阳率 是成正相关的, 也就是说我们其实基本不可能找到一个 阈值, 使得 真阳率=1假阳率=0, 如果出现这种情况, 那么这个曲线的经过(0,1)点, 这个图就是一个正方形了。

好了,到这里我想对 ROC曲线 你应该有一个比较感观的认识了, 其实这个算法也是很符合我们的常识的, 也告诉我们,看似高大上的一些算法, 其实真的就是源于生活的点点滴滴。

这里再补充一点: 我一直说的都是从 预测为感冒 这个角度来阐述, 这也是二分类的一个好处, 我们只要想明白了一个角度, 另外一个角度就是一个 1 - x 的问题了

AUC

  • 定义
    1. ROC曲线 与 横轴 围城的曲边形的面积
    2. 将所有样本根据算法模型预测的打分进行升序排列, 随机挑选一正一负两个样本, 负样本排在正样本前面的概率

    只是看文字好像不是很好理解, 可以结合上面那个例子来看一看就好理解了, 我们给所有来看病的人都有打分, 按照打分给他们排个序, 然后随机挑选一个真得感冒 和 一个 真正常的人, 看一下是不是真正常的人排在前面, 如果是,那么计数为1, 进行 N 次实验, 所有计数的累计和 为 n, 那么 n/N 就是AUC的值了, 顺便提一下,最理想的情况就是 n = N了, 也意味着我们的打分已经完美

定义有两种,但是他们应该如何进行理解互通呢? 笔者目前也不是很清楚,尝试推理了下, 也不是很明白,这里就不敢班门弄斧了, 如果有大佬理解,请不吝赐教!!!非常感谢!!! 这里如果有感谢兴趣的朋友,也可以查看下 这篇博客, 应该是我找到的比较有深度的 auc 的计算了

  • 为什么需要 AUC 前面我们说了 ROC曲线 可以用来给一个模型确定阈值, 那么 AUC 则是来评判一个 二分类的 模型的优劣。 如果 AUC = 1:完美预测,基本不会存在的情况。 如果 0.5 < AUC < 1:除了完美预测,那就乘这个区间的最有价值了。 如果 AUC = 0.5:因为是二分类,随机猜测也就是这个概率了,完全就没有价值 如果 AUC < 0.5:比随机猜测的概率还低!!!但是反过来说,非黑即白,如果取个反呢?

总的来说,不考虑最后一种情况, AUC当然是越大 越好, 如果是最后一致情况,那当然是越小越好, 因为我一旦取反,那么就和第一种情况一样啦。

这里还补充一点, 关于我们预测分类为什么不直接用 准确度,

我们可以想象一下,对于一些有偏的数据, 比如中彩票的概率如果是 万分之一, 那么我要预测中没中彩票, 只要都预测为不中, 那我的准确率不是有 99.99%? 看数据是不是很好,但是实际是不是很废? 用 ROC 和 AUC 来评判就是可以很好的避免这个问题了, 具体你可以自己算算这个列子的 ROC 曲线就可以理解了。

  • AUC 计算 首先还是这篇博客。 其次,我想说的是,写AUC的博客那么多, 为什么没人将工作中的计算方法说上来呢? 所以这里我就贴一个工作中计算方式: 1.首先我们计算AUC肯定得有一份打完分了的数据,假设数据auc.text,内容如下: -1 0.12 -1 0.13 -1 0.16 1 0.2 -1 0.21 -1 0.23 1 0.3 -1 0.32 -1 0.35 1 0.4 -1 0.42 -1 0.46 1 0.5 -1 0.51 -1 0.53 1 0.7 1 1.1 1 1.2 1 1.2
    1. 计算方法 cat auc.text |sort -k2n|awk '($1==-1){ x;a =y}($1==1){ y}END{print 1.0-a/(x*y)}' 通过一个简单的 awk 就可以得出来了, 至于这个公式得原理,也很简单, 就是完全遵循我们定义中的第二种方式得来的, 推理过程就不啰嗦了, 大致解释下:
      1. x 表示所有负样本数,y表示 正样本数
      2. 所以 x * y 就是对所有正负做一次 AUC 实验,可以做 x*y 这么多次
      3. 因为是排序的,所以每当在 负样本上面找到一个正样本, 那么实验错误的次数就得累计一次
      4. 所以 y 其实也就记录了,当前这个负样本上面 有多少个 正样本, 那么就有多少次预测错误,
      5. 所以 a 记录的就是预测错误的值
      6. 所以 1- (a/x*y) 就是 AUC

我不知道我解释的有没有让你明白.... 但是我只能说到这里了.... 好了,本文到此就结束啦!谢谢你的阅读!!!

如果觉的本文对你有帮助...可否奢求你一个认可的 赞 呢 ??

0 人点赞