测量人工智能在住院患者诊断中的影响:一项随机临床场景调查研究
2023年12月,美国学者发表在《JAMA》的一项随机临床场景调查研究,旨在测量人工智能(AI)在住院患者诊断中的影响。
重要性:在诊断住院患者时,AI可以为临床医生提供支持;然而,AI模型中的系统偏倚可能会降低临床医生的诊断准确性。最近的监管指南呼吁AI模型要纳入由模型做出的减少错误的解释,但这一策略的有效性尚未确定。
目的:旨在评估有系统偏倚的AI对临床医生诊断准确性的影响,并确定基于图像的AI模型解释能否减少模型误差。
设计、地点和参与者:2022年4月~2023年1月,在美国13个州进行随机临床场景调查研究,研究纳入医院医生、执业护士和医生助理。
干预:向临床医生展示了9个急性呼吸衰竭住院患者的临床场景,包括他们的表现症状、体检、实验室结果和胸部X线片。然后,临床医生被要求确定患者肺炎、心衰或慢性阻塞性肺病作为每名患者急性呼吸衰竭的潜在原因的可能性。为了确定基线诊断的准确性,向临床医生展示了2个没有AI模型输入的场景。然后,临床医生被随机分组,观察6个带有或不带有AI模型解释的AI模型输入的场景。在这6个场景中,3个场景包括标准模型预测,3个场景包括存在系统偏倚的模型预测。
主要结局和测量指标:临床医生对肺炎、心衰和慢性阻塞性肺病的诊断准确性。
结果:参与者的中位年龄为34岁(IQR,31~39),241人(57.7%)为女性。457名临床医生被随机分组并完成了至少1个场景,其中231人被随机分配到不带解释的AI模型预测组,226人被随机分组到带解释的AI模型预测组。临床医生对3种诊断的基线诊断准确率为73.0%(95% CI,68.3%~77.8%)。当为其展示不带解释的标准AI模型时,临床医生的准确率比基线提高了2.9%(95% CI,0.5~5.2),当也向临床医生展示AI模型解释时,临床医生的准确率提高了4.4%(2.0~6.9)。与基线相比,系统偏倚的AI模型预测使临床医生的准确性降低了11.3%(7.2~15.5),提供带解释的偏倚AI模型预测使临床医生的准确率比基线降低了9.1%(4.9~13.2),与系统偏倚AI模型相比,这意味着2.3%(-2.7~7.2)的非显著性改善。
结论和意义:虽然标准AI模型改善了诊断的准确性,但系统偏倚AI模型降低了诊断的准确度,而常用的基于图像的AI模式解释并没有减轻这种有害影响。
(选题审校:程吟楚 编辑:丁好奇)
(本文由北京大学第三医院药剂科翟所迪教授及其团队选题并审校,环球医学资讯编辑完成。)
参考资料:
JAMA. 2023 Dec 19;330(23):2275-2284
Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study
https://pubmed.ncbi.nlm.nih.gov/38112814/
- 评价此内容
- 我要打分
近期推荐
热门关键词
最新会议
- 2013循证医学和实效研究方法学研讨会
- 欧洲心脏病学会年会
- 世界帕金森病和相关疾病2013年会议
- 英国介入放射学学会2013年第25届年会
- 美国血液学会2013年年会
- 美国癫痫学会2013年第67届年会
- 肥胖学会 2013年年会
- 2013年第9届欧洲抗体会议
- 国际精神病学协会 2013年会议
- 妇科肿瘤2013年第18届大会
- 国际创伤压力研究学会2013年第29届…
- 2013年第4届亚太地区骨质疏松症会议
- 皮肤病协会国际2013年会议
- 世界糖尿病2013年大会
- 2013年国际成瘾性药年会
- 彭晓霞---诊断试验的Meta分析
- 武姗姗---累积Meta分析和TSA分析
- 孙凤---Network Meta分析
- 杨智荣---Cochrane综述实战经验分享
- 杨祖耀---疾病频率资料的Meta分析
合作伙伴
Copyright g-medon.com All Rights Reserved 环球医学资讯 未经授权请勿转载!
网络实名:环球医学:京ICP备08004413号-2
关于我们|
我们的服务|版权及责任声明|联系我们
互联网药品信息服务资格证书(京)-经营性-2017-0027
互联网医疗保健信息服务复核同意书 京卫计网审[2015]第0344号