Tlines 全球机构情报
EN
medRxiv每日精选快讯0 阅读

EM-BENCH基准:无模型完全符合ACEP指南,最高正确率98.6%

来源medrxiv.org

据medRxiv预印本,研究团队开发了经医师验证、确定性评分的基准EM-BENCH,用于评估大语言模型能否可靠地将美国急诊医师学会(ACEP)指南应用于临床决策。该基准包含210个二元临床情景题,覆盖25项ACEP临床政策下的全部70个关键问题;研究评估了代表79个基础模型的149种模型配置。结果显示,没有任何配置实现完全指南一致性,表现最佳者答对210题中的207题(98.6%)。闭源模型表现优于开放权重模型(准确率中位数91%对63%,Hodges-Lehmann位置偏移26个百分点,99%CI 20至33,校正P<0.001)。在开放权重模型家族中,参数量增加10倍与准确率提高14个百分点相关(99%CI 7.7至20,校正P<0.001);所有模型准确率每发布年份提高8.9个百分点(99%CI 3.6至14,校正P<0.001)。启用思考模式或提高推理强度均未带…

更多medRxiv每日精选 → · 全部新鲜事 →