DiaBench框架评估大模型2型糖尿病教育表现：多数模型准确率超95%

一项预印本研究提出DiaBench标准化评测框架，用于评估大语言模型在2型糖尿病患者教育中的表现。据作者介绍，该框架基于临床医生从真实患者问诊中收集的96组问答对构建，由GPT-5将其转化为三种配置的多选题，并由五名认证糖尿病护理与教育专家、医生及内分泌科医生验证。研究评估了GPT-5、Gemini-2.5-Flash、Cohere Command、Llama-4、DeepSeek-R1、Perplexity Sonar和Mistral-Large-2.0共七款模型。作者称，专家验证显示配置1中98.1%的改写答案恰当、98.1%的多选题答案正确；配置1和2下多数模型准确率达95%以上，但Mistral-Large-2.0、Llama 4和Perplexity Sonar的自一致性较低，为60.4%至91.7%；所有模型在配置3下准确率与自一致性均下降。作者称Gemin…