受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。
ROC可以用于：（1）比较预测二分类响应变量的预测效果；（2）获取预测二分类响应变量的连续预测变量的阈值。
比如在预测病人有无高血压时，有无高血压为二分类的响应变量：有或无，使用测量的血压值为预测变量，血压值为连续变量。
假如还想通过体重来预测有无高血压，那么要比较这两个模型：血压值及体重究竟哪个指标能更好的预测有无高血压就是用途（1），而选择哪一个数值是比较好的界定“有无高血压”的阈值，就是用途（2）。
ROCR包与ROC
一个用于分析ROC的数据是一组连续变量和一组二分类变量，连续变量是预测变量，分类变量是响应变量。
在ROCR包中，这两组数据被称为“predictions“和”labels“。
如下所示为ROCR包的示例数据ROCR.sample。
代码语言：javascript复制# 载入工具包
library(tidyverse)
library(ROCR)
data(ROCR.simple)
ROCR.simple %>% as_tibble
# # A tibble: 200 x 2
# predictions labels
# <dbl> <dbl>
# 1 0.613 1
# 2 0.364 1
# 3 0.432 0
# 4 0.140 0
# 5 0.385 0
# 6 0.244 1
# 7 0.971 1
# 8 0.890 1
# 9 0.782 1
# 10 0.869 0
# # ... with 190 more rows
ROC曲线是一个以FPR为横坐标，TPR为纵坐标的曲线。
TPR：真阳性率 ( true positive rate) ，又称敏感度(sensitivity)，TPR = TP / P = TP / (TP FN)。
FPR：伪阳性率(false positive rate) ，FPR = FP / N = FP / (FP TN)，其值为1-specificity。
其中 P为总阳性样本，N为总阴性样本。
上述的TP、FP、TN、FN的含义见下面的confusion matrix。
对于一个ROC曲线而言，它不直接得出哪个阈值最好，而是把所有的阈值都尝试一遍，得出一组（FPR，TPR）坐标，然后绘制成曲线，然后就可以根据曲线来选择最好的阈值：尽可能大的TPR，尽可能小的FPR。
同时一条ROC曲线的展示的预测能力优劣可以由AUC（Area under curve）来衡量：0.5代表随机分布，预测变量没有预测能力；0.5-0.7，较低的预测能力；0.7-0.9，有一定的预测能力，0.9-1，有较高的预测能力。
ROC示例
ROCR包很简单，用到三个函数：
- prediction：将原始数据（predictions，labels）封装为prediction对象，以用于后续分析；
- performance：对prediction对象计算auc，tpr， fpr等等；
- plot：利用base R绘图系统绘图。
以RCOR的示例数据为例：
代码语言：javascript复制# 构建prediction对象
pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
# 计算AUC，结果返回一个S4对象，y.values就是AUC
perf_auc <- performance(pred, "auc")
##S4对象，其内包括6个数据##
slotNames(perf_auc)
# [1] "x.name" "y.name" "alpha.name" "x.values" "y.values" "alpha.values"
# AUC数值如下
perf_auc@"y.values"
# [[1]]
# [1] 0.8341875
performance返回一个S4对象，里面是返回的x，y的名字及数值，如果调用performance时只传入一个参数，如auc，auc就是这里面的y。如果传入两个参数，比如"tpr"、"fpr"，那么此时的tpr是y，fpr是x。调用函数也可以明确参数measure=tpr, x.measure=fpr。
# 获取ROC数据
perf_roc <- performance(pred, measure = "tpr", x.measure = "fpr")
plot(perf_roc)
也可以使用ggplot2进行绘制：
代码语言：javascript复制tibble(x=perf_roc@x.values[[1]], y=perf_roc@y.values[[1]]) %>%
ggplot(aes(x=x, y=y)) geom_line()
# ggplot2绘图有较大自由性，可以修改部分格式，如下
tibble(x=perf_roc@x.values[[1]], y=perf_roc@y.values[[1]]) %>%
ggplot(aes(x=x, y=y))
geom_line(aes(color=cut(y, c(-1,0.5,0.7,0.9,1))))
geom_point(aes(color=cut(y, c(-1,0.5,0.7,0.9,1))))
theme_bw()
labs(color="TPR", x="True positive rate", y="False positive rate")
scale_color_brewer(palette = "Reds")
theme(legend.position = "bottom",
legend.title = element_text(face = "bold"),
legend.text = element_text(size = 12),
axis.title = element_text(face = "bold"))
geom_text(aes(x=1, y=0, label=paste0("AUC: ",perf_auc@y.values[[1]]%>%round(2))),
hjust="right", vjust="bottom")
参考资料：
- 用R软件包ROCR画ROC曲线：https://blog.csdn.net/machinelearning_er/article/details/70242672
- ROC是什么？：https://www.zhihu.com/question/23700474
- ROC曲线简介：https://zhuanlan.zhihu.com/p/26293316
