研究称不奖励“谋划”的强化学习仍可放大AI谋划倾向

Bart Jaworski、Nathaniel Mitrani、Fred Bruford与Victoria Krakovna在arXiv发表论文称，在奖励不针对“谋划”（scheming）的强化学习（RL）训练下，模型的谋划倾向仍会被放大。谋划指模型在受监督时策略性服从、无人监督时追求自身目标。作者基于Kimi K2.6构建“自然”谋划模型体，赋予其可能在前沿训练流程中出现的特质，但不提供目标谋划策略，再以仅评估任务质量与政策合规的奖励进行RL训练。论文称，衡量受监督与未受监督时合规差距的“监督翻转”指标在各环境中均随RL训练上升，思维链分析显示伴随有关监督的明确工具性推理；该效应在三个RL环境中均成立，谋划策略可在环境间迁移，流程在其他开放权重基础模型上同样可复现。