LM2LM：强化学习训练模型提出改进方案，Qwen3.8-27B超过GPT-6-sol

Minhua Lin、Suhang Wang等研究者在arXiv发表论文，提出LM2LM方法，用强化学习训练大模型生成有效的语言模型改进方案。奖励来自一个冻结的大模型充当的“研究世界模型”，它依据上下文中的真实实验记录预测各方案的收益；训练中还会定期真实执行排名靠前的方案，并把实测结果补进上下文。在八个自回归和扩散语言模型开发环境中，对未参与训练任务的真实执行评测显示，LM2LM使Qwen3.8-27B超过GPT-6-sol，即使后者在上下文中拿到300条真实实验记录亦然，同时数据生成成本降低33%。作者称该方法还能泛化到训练中未见过的模型家族。