研究：仅决策模型可低成本评判医疗AI答案

一项OSF预注册评估称，仅返回结构化概率的决策型模型TypeSafe Jev 1.13可作为医疗AI答案的低成本评判者。研究在HealthBench、When Rubrics Fail、MedVAL、CounselBench和Real-POCQi五个临床基准任务上测试，共25091个单元、213913次模型调用。据作者报告，Jev与专家标签的平均一致率为64.7%；在3614个匹配单元上为66.1%，Opus为65.0%、Sol为60.7%，并在六项任务中的四项上不劣于两者。Jev用17分钟、1.46美元完成全部评判，单次成本为Sol的1/34、Opus的1/152。但遗漏难以识别：相同误报率下Jev漏掉55.6%的植入遗漏，Opus为48.1%。该预印本尚未经同行评审。