麻省布里格姆医院:ChatGPT在临床决策中,准确率高达71.7%!
添加书签![](https://static-img-job.rpa-cn.com/www.open-cx.com/2024/01/20240107110142659.jpeg)
专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!
美国最大非营利医疗机构之一麻省布里格姆医院发布了,关于ChatGPT在临床医疗决策中应用的研究论文。
该医院表示,从提出诊断、推荐诊断检查到最终诊断以及护理管理决策,ChatGPT的准确率为71.7%,在整个临床决策中的表现令人感到惊讶。
特别是与初始诊断相比,ChatGPT 在最终诊断任务中表现出了最高的准确率76.9%。
此外,ChatGPT在所有医学专业的初级保健和急诊环境中表现同样出色,可以充当医疗助手角色辅助主治医生增强决策、治疗和护理等医疗工作,在医疗领域的应用潜力巨大。
论文地址:https://www.jmir.org/2023/1/e48659/
评估方法
研究人员评估了ChatGPT 在解决医疗综合临床决策方面的准确性,比较了患者的年龄、性别和临床表现的敏锐度。
通过将临床工作流程的每一部分,作为对模型的连续提问,依次提出鉴别诊断、诊断测试、最终诊断和临床管理。
数据来源和测试
测试数据选自《默克手册》,这世界上最古老和最广泛使用的医学参考书之一,涵盖了各种疾病和医疗状况的详细信息,包括症状、病因、诊断、治疗和预防等内容。
例如,现病史 (HPI)、系统审查 (ROS)、体检(PE) 和实验室测试结果等,以模拟鉴别诊断、诊断检查和临床管理中的决策。
病例记录是通过将《默克手册》插图直接复制到 ChatGPT 中生成的。所有要求临床医生分析图像的问题都被排除在研究之外,因为ChatGPT 还无法准确识别医疗图片信息。
评分方法,ChatGPT每回答对一道题将获得1分,例如,每次 ChatGPT 的答案与提供的《默克手册》答案一致时都会获得一分。每一道题的最终分数计算为 3 次重复分数的平均值。
不同患者和年龄的表现
研究人员进行了多变量线性回归分析,以研究患者年龄和性别对ChatGPT 准确性的影响。年龄和性别的回归系数均不显着(年龄:P= .35;性别:P = .59;)。
这一结果表明,ChatGPT的表现在本研究中的各个年龄段,以及性别的二元定义中都是相同的。
测试结果
ChatGPT在所有36个临床测试题中的总体准确率达到71.7%;
在做出最终诊断方面表现出最高的表现,准确率为76.9% ;
在生成初级鉴别诊断方面表现最低,准确率为60.3%。
总体来说,ChatGPT在临床决策方面取得了令人印象深刻的准确性,并且随着它获得更多可用的临床信息将变得越来越强大。特别是,与初始诊断相比,ChatGPT在最终诊断任务中表现出最高的准确性。
在用药方面,ChatGPT可以提供正确用药但无法给出准确的剂量,这可能表明ChatGPT的训练数据偏向于语言准确性,而不是数字准确性。
如果想获得更准确的答案,可能需要对模型进行特定领域的数据训练和微调。
关于麻省布里格姆医院
麻省布里格姆医院由麻省总医院(Massachusetts General Hospital)和布莱根妇女医院(Brigham and Women’s Hospital)于1994年合并而成。
麻省总医院,全名马萨诸塞州公共卫生和总医院,是美国最古老和最有声望的医疗机构之一,创立于1811年总部位于波士顿。麻省总医院是美国排名第一的研究型医院,同时也是哈佛医学院的主要教学医院。
在过去的200多年中,麻省总医院一直在医疗创新和研究领域处于领先地位。例如,1846年,进行了世界上第一次成功的全麻手术。此外,该医院在医学影像、心脏病学、神经科学和许多其他领域做出了重要贡献。
本文素材来源麻省布里格姆医院官网,如有侵权请联系删除
END
本篇文章来源于微信公众号: AIGC开放社区