欢迎访问腾辰生物科技(上海)有限公司官网

腾辰生物科技(上海)有限公司官网

当前位置:首页>新闻资讯

返回列表页

ROC曲线与AUC面积介绍

ROC曲线来历:相传在第二次世界大战期间,雷达兵的任务之一就是死死地盯住雷达显示器,观察是否有敌机来袭。理论上讲,只要有敌机来袭,雷达屏幕上就会出现相应的信号,但是实际上,有时如果有飞鸟出现在雷达扫描区域时,雷达屏幕上有时也会出现信号。这种情况令雷达兵烦恼不已:如果过于谨慎,凡是有信号就确定为敌机来袭,显然会增加误报风险;如果过于大胆,凡是信号都认为飞鸟,又会增加漏报的风险。为了研究每个雷达兵预报的准确性,雷达兵的管理者汇总了所有雷达兵的预报特点,特别是他们漏报和误报的概率,并将这些概率画到一个二维坐标里面。由于每个雷达兵的预报标准不同,且得到的敏感性和特异性的组合也不同。将这些雷达兵的预报性能进行汇总后,雷达兵管理员发现他们刚好在一条曲线上,这条曲线就是我们经常在医学杂志上看见的ROC曲线。

01-.jpg

ROC曲线(receiver operating characteristic curve):即接受者操作特性曲线。我们根据学习器的预测结果,把阈值从0变到最大,随着阈值的增大,学习器预测正例数越来越少,直到最后没有一个样本是正例。在这一过程中,每次计算出灵敏度和特异性,分别以它们为横、纵坐标作图,就得到了ROC曲线。

AUC面积(area under curve):为ROC曲线下与坐标轴围成的面积,这个面积数值 ≤ 1。由于ROC曲线一般都处于y = x这条直线的上方,所以AUC的取值范围在0.5和1之间。我们往往使用AUC值作为模型的评价标准是AUC值越大,对应的模型效果更好。

准确率(accuracy)=(TP+TN)/(TP+TN+FP+FN),即被预测正确的样本与所有预测样本的比。

灵敏度(sensitivity)= TP /(TP+FN)×100%,即正确判断阳性的概率。

特异性(specificity)= TN /(FP+TN)×100%,即正确判断阴性的概率。

阳性预测值(PPV)= TP /(TP+FP)×100%,即被正确预测的阳性样本与所有预测为阳性样本的比。

阴性预测值(NPV)= TN /(FN+TN)×100%,即被正确预测的阴性样本与所有预测为阴性样本的比。

AUC面积用于模型性能的判断

AUC值为ROC曲线所覆盖的区域面积,显AUC越大分类器分类效果越好。

AUC = 1,是完美分类器,采用这个预测模型时,能得出完美预测。绝大多数预测的场合,不存在完美分类器。

0.5 < AUC < 1,优于随机猜测。这个模型设置合适的阈值,能有预测价值。

AUC = 0.5,跟随机猜测一样(例:丢硬币),模型没有预测价值

AUC < 0.5,比随机猜测还差,但只要总是反预测结果而行,模型就优于随机猜测。

01+.jpg