你的预测模型靠谱吗?详解区分度和校准度的SPSS操作!

龚志忠

龚志忠

首都医科大学附属北京中医医院

擅长:临床研究数据统计分析、流行病学方法设计、临床预测模型建模与评价
已关注
关注
2019-01-23 来源:医咖会

基于风险预测模型的预后研究一直以来都是研究者关注的热点,各种各样的预测模型质量参差不齐,常常让人眼花缭乱,那么如何去评价一个模型的好坏,或者说当你构建出一个疾病风险预测模型后,它到底靠不靠谱,值不值得去推广和使用呢?这是一个我们需要去好好考量的问题。

一个好的疾病风险预测模型,它不只是简单的因变量和自变量的数学组合,它背后的实际临床意义才是我们所要把握的重点,这就要求预测模型不仅要有很好的区分度(Discrimination),同时还要具备良好的校准度(Calibration)

Discrimination和Calibration是我们在评价预测模型时最常用到的一对指标,但是2015年Circ Cardiovasc Qual Outcomes杂志(影响因子:4.5)上发表的一项关注心血管疾病预测模型的系统综述发现,63%的研究报告了预测模型的Discrimination信息,但仅36%的研究报告了Calibration信息,使得预测模型的质量成为研究泛滥的重灾区。

本期内容我们就来向大家介绍一下这两个重要的指标,尤其是常常被人忽略的Calibration。

区分度(Discrimination)

介绍Calibration之前,我们先简单介绍一下Discrimination。顾名思义,一个好的疾病风险预测模型,它能够把未来发病风险高、低不同的人群正确地区分开来,预测模型通过设置一定的风险界值,高于界值判断为发病,低于界值则判断为不发病,从而正确区分个体是否会发生结局事件,这就是预测模型的区分度(Discrimination)。

评价预测模型区分能力的指标,最常用的就是大家非常熟悉的ROC曲线下面积(AUC),也叫C统计量(C-statistics)。AUC越大,说明预测模型的判别区分能力越好。一般AUC<0.6认为区分度较差,0.6-0.75认为模型有一定的区分能力,>0.75认为区分能力较好。

试读结束,兑换后即可解锁本专栏全部课程
评论
请先登录后再发表评论
发表评论
medi_27179318883
前一节不是说ROC曲线是应用到验证队列数据得出的吗?为啥这里都是建模队列
2023-04-04 16:31:08 回复
0
medi_dy8wq1o
区分度一般、校准度高,这个模型的怎么评价
2022-09-24 11:12:46 回复
0
medi_27459465290
cox回归模型后如何做校准?谢谢
2022-03-18 09:54:03 回复
0
多烯磷脂
请问本来单因素是正相关的因变量,纳入多因素分析后,可能会变成负相关吗?同样的因变量,单因素和多因素的系数正负变了。。。这种是有可能的吗?
2022-03-05 15:02:55 回复
0
sugar
请问有模拟数据可以下载吗
2021-06-08 20:44:04 回复
0
豆包
这个教程木有对应的模拟数据,可以用自己的数据试试哦
2021-09-27 15:37:21 回复
0
medi_rpgucyx
请问cox回归做的模型怎么计算roc曲线下面积呢
2021-04-20 00:52:58 回复
0
豆包
操作方法和二分类logistic回归类似,做完cox回归模型后,输出预测值,然后绘制ROC曲线即可
2021-09-27 15:38:20 回复
0
使用课程券需先认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
公众号
统计咨询
扫一扫添加小咖个人微信,立即咨询统计分析服务!
会员服务
SCI-AI工具
积分商城
意见反馈