各位科研芝士的朋友,大家好。最近学习到用NRI进行模型比较,起初当听到NRI这个词的时候,我的表情可能是这样的。
其实当时我还真不知道这个概念,不过奈何我们大家都爱学习,接着一顿操作猛如虎,来学习一个这个知识点,今天就把自己学习的一点,分享给大家,希望对大家能有帮助。
概念扫盲
NRI
全称为Net Reclassification Index,是这三个单词的英文首字母缩写,代表净重新分类指数。
作用
一般情况,在预测结局事件的时候,不同的人可能会建立不同的预测模型,当我们去评价两个模型的好坏或者预测能力的强弱的时候,你可能会说AUC呀,其实除了AUC,还有NRI也是用来比较两个模型预测能力的。
区分度、灵敏度和特异度
一个好的预测模型应该能针对某个结局,把风险高低区分开来,这是区分度(discrimination)。
区分度一般以我们熟悉的ROC曲线下面积(AUC)来评价,或称C统计量(C-statistics)。AUC越高,模型对高低风险人群的区分度越好。一个广泛接受的评判标准是,AUC在0.6以下为低区分度,0.6 – 0.75 是中区分度,0.75以上为高区分度。而在诊断试验中,通常根据检验指标的判断结果和金标准诊断结果,整理成一个2×2的表格,如下表所示,并以此来计算诊断试验中两个比较重要的指标,即灵敏度和特异度。
灵敏度=A/(A C),即真阳性率,反映了将实际有病的人正确地判定为阳性的比例。
特异度=D/(B D),即真阴性率,反映了将实际无病的人正确地判定为阴性的比例。
以灵敏度为纵坐标,1-特异度为横坐标绘制图形,即可得到我们熟悉的受试者工作特征曲线(Receiver Operating Characteristic curve,ROC曲线)。
净重新分类指数NRI
相对于ROC曲线及其AUC,NRI更关注在某个设定的切点处,两个模型把研究对象进行正确分类的数量上的变化,常用来比较两个模型预测能力的准确性。首先根据结局事件,比如是否患病,将病人按照真实的患病情况分为两组,即患者组和非患者组,旧模型会把研究对象分类为患者和非患者,然后在旧模型的基础上引入新的指标构成新模型,新模型会把研究对象再重新分类成患者和非患者。
那么,便会出现原本在旧模型中被错分,但在新模型中得到了纠正,分入了正确的分组,同样也有一部分研究对象,原本在旧模型中分类正确,但在新模型中却被错分的情况,这个时候,我们利用这种重新分类的现象,来计算净重新分类指数NRI。
NRI计算
如下两个表所示,表一为一般情况,表二为特定情况,(一共595个样本,其中180个位患者组,415个位非患者组),我们将研究对象按照真实的患病情况分为两组,即患者组和非患者组,然后分别在这两个分组下,根据新、旧模型的预测分类结果,整理成两个2×2的表格。
表一
NRI= (B1-C1) / N1 (C2-B2) / N2
表二
根据上述NRI公式计算如下:
NRI= (B1-C1) / N1 (C2-B2) / N2=(30-8)/180 (32-15)/415=16.3%
NRI>0,提示在加入了新的生物标志物后,新模型的预测能力有所改善,正确分类的比例提高了16.3%。
NRI解释
若NRI>0,则为正改善,说明新模型比旧模型的预测能力有所改善;若NRI<0,则为负改善,新模型预测能力下降;若NRI=0,则认为新模型没有改善。
接着我们看看在R里面如何实现呢?
1.安装并加载包
2.借助survival包中的数据集,进行数据选取
最后生成的egData如下:
最后一列event数据集表示的是病人的生存状态,1代表存活,0代表死亡。
3.根据event列构建logistic回归模型
可以看到构建的两个模型,第二个模型比第一个模型多了一个protime指标。
4. 采用PredictABEL包,一行代码计算NRI值
主要的函数为reclassification,第一个参数为我们的数据集,第二个参数为二分类的列,此处21代表的event列,predrisk1和predrisk2分别代表的为拟合的两个模型,这里分别填的为pstd和pnew,即通过glm函数拟合的logistic模型,最后一个cutoff必须要输入(0,X1,X2,1),其中0,1不可缺少,然后选择合适的cutoff值,此处我输入的为0.6.
5.结果展示:
对于这个结果,我们主要看IDI值,主要指的是发生和未发生结局事件样本的平均预测风险差异,新模型较旧模型中提高了0.44%,并且给出了p值,表示二者模型几乎没差异。
Ok,今天的推文就到这,我们主要分享了NRI的基本概念和基于R语言计算NRI,希望能对大家有所帮助,最后,欢迎大家留言,有不正确的地方,也请大家留言指正。
—END—