bioRxiv基准测试：多款大模型转录组分析工作流表现不一

一项预印本研究对ChatGPT 5.5、Claude Sonnet 4.6、Gemini 3.1和Llama4-Scout等大语言模型及智能体编码系统进行基准测试，评估其自动完成转录组数据分析与可视化工作流的能力，重点考察人类对新冠感染的反应数据。据作者Iyer、Subedi、Butler和Krishnakumar称，测试通过不同具体程度的提示考察降维、聚类、离群点检测、可复现性与代码生成等环节，并同时记录聚类得分、离群点数量等定量指标及代码质量等定性指标。结果显示，提示越具体，代码结构与方法正确性越好，但定量表现高度依赖预处理选择和运行环境；部分模型能生成较强代码与可复现输出，但与基于标签的聚类等科学目标的吻合度并不稳定。作者称该结果既显示当前大模型自动化科学数据分析的潜力，也暴露其局限，并提出未来基准测试与工作流标准化的方向。