010-84476011
环球医学>> 临床用药>> 呼吸>>正文内容
呼吸

测量人工智能在住院患者诊断中的影响:一项随机临床场景调查研究

来源:环球医学编写    时间:2024年01月23日    点击数:    5星

2023年12月,美国学者发表在《JAMA》的一项随机临床场景调查研究,旨在测量人工智能(AI)在住院患者诊断中的影响。

重要性:在诊断住院患者时,AI可以为临床医生提供支持;然而,AI模型中的系统偏倚可能会降低临床医生的诊断准确性。最近的监管指南呼吁AI模型要纳入由模型做出的减少错误的解释,但这一策略的有效性尚未确定。

目的:旨在评估有系统偏倚的AI对临床医生诊断准确性的影响,并确定基于图像的AI模型解释能否减少模型误差。

设计、地点和参与者:2022年4月~2023年1月,在美国13个州进行随机临床场景调查研究,研究纳入医院医生、执业护士和医生助理。

干预:向临床医生展示了9个急性呼吸衰竭住院患者的临床场景,包括他们的表现症状、体检、实验室结果和胸部X线片。然后,临床医生被要求确定患者肺炎、心衰或慢性阻塞性肺病作为每名患者急性呼吸衰竭的潜在原因的可能性。为了确定基线诊断的准确性,向临床医生展示了2个没有AI模型输入的场景。然后,临床医生被随机分组,观察6个带有或不带有AI模型解释的AI模型输入的场景。在这6个场景中,3个场景包括标准模型预测,3个场景包括存在系统偏倚的模型预测。

主要结局和测量指标:临床医生对肺炎、心衰和慢性阻塞性肺病的诊断准确性。

结果:参与者的中位年龄为34岁(IQR,31~39),241人(57.7%)为女性。457名临床医生被随机分组并完成了至少1个场景,其中231人被随机分配到不带解释的AI模型预测组,226人被随机分组到带解释的AI模型预测组。临床医生对3种诊断的基线诊断准确率为73.0%(95% CI,68.3%~77.8%)。当为其展示不带解释的标准AI模型时,临床医生的准确率比基线提高了2.9%(95% CI,0.5~5.2),当也向临床医生展示AI模型解释时,临床医生的准确率提高了4.4%(2.0~6.9)。与基线相比,系统偏倚的AI模型预测使临床医生的准确性降低了11.3%(7.2~15.5),提供带解释的偏倚AI模型预测使临床医生的准确率比基线降低了9.1%(4.9~13.2),与系统偏倚AI模型相比,这意味着2.3%(-2.7~7.2)的非显著性改善。

结论和意义:虽然标准AI模型改善了诊断的准确性,但系统偏倚AI模型降低了诊断的准确度,而常用的基于图像的AI模式解释并没有减轻这种有害影响。


(选题审校:程吟楚 编辑:丁好奇)
(本文由北京大学第三医院药剂科翟所迪教授及其团队选题并审校,环球医学资讯编辑完成。)


参考资料:
JAMA. 2023 Dec 19;330(23):2275-2284
Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study
https://pubmed.ncbi.nlm.nih.gov/38112814/
 

评价此内容
 我要打分

现在注册

联系我们