一项预印本研究评估了大语言模型生成2型糖尿病表型SQL的效果,以及数据库实现上下文的影响。据作者称,八个公开可用的基于大模型的系统在逐步丰富的提示下生成SQL,所用数据为基于OMOP模型的合成数据与北卡罗来纳大学(UNC)健康电子病历数据,输出结果与eMERGE 2型糖尿病参考表型按SQL可执行性、F1、阳性预测值和召回率进行比较。结果显示,上下文有限时,合成数据输出中可无修改执行的比例不足55%,UNC电子病历输出则无一可执行;提供详细代码本(L3)后,可执行性在合成OMOP数据中升至81.3%,在UNC电子病历中达到100%;加入样本行(L4)后,合成数据可执行性升至100%。上下文有限时召回率最低为0.01,高上下文输出在合成数据L4下召回率不低于0.99,在UNC L3下高于0.90,但UNC的阳性预测值仍明显低于召回率。在最高可用上下文水平下,Beta F1在…
研究:更丰富的数据库上下文提升大模型生成电子病历表型算法质量
medRxiv