论文称带推理与代码执行的大模型可近逼贝叶斯后验

Linus Filbry、Luckeciano C. Melo与Yarin Gal发表论文称，既有工作常假定大模型无法在上下文中做原则性贝叶斯信念更新。作者构建评估框架，涵盖定性认识论示例、贝叶斯推断定量基准，以及非贝叶斯更新对下游任务的影响分析，检验模型内部一致性与恢复外部给定后验的能力。作者称跨场景下大模型在上下文更新信念时通常违反贝叶斯规则；但配备现代推理能力与代码执行后表现大幅改善，甚至可接近解析上难处理的后验。论文称当前大模型在获得合适工具后已可用于科学发现中的复杂信念更新。