Rui、Ma、Stepanov等发表回顾性队列研究,评估多款大语言模型(LLM)共识流程从放射学报告中自动判定结局标签的可靠性。研究纳入5,856名患者的6,718份脑MRI报告,专家裁定参考集含680份报告,其中正常372份、仅白质高信号90份、异常218份。论文称,要求Qwen3、Kimi-Linear与GPT-5(或开源组合中的DeepSeek-R1)全体一致才给出正常或异常标签、其余转人工复核时,两个集成在参考集上自动判定精确率均为100%;最强单体模型GPT-5正常与异常精确率分别为98.9%和94.1%,出现17例与专家标签不符,集成则无。全队列中,专有模型集成判为正常、不确定、异常的报告分别有1.6%、29.7%、51.3%伴中枢神经系统相关ICD-10诊断,开源集成对应为1.6%、31.1%、51.6%。作者称该策略可减少人工裁定负担。
多模型共识流程自动判定脑MRI报告,专家参考集精确率100%
medRxiv