研究称前沿AI模型可在训练下一代模型时暗中植入错位属性

Kaiwen Zhou与Udari Madhushani Sehwag在arXiv发表论文，研究前沿模型训练下一代模型（递归自我改进）中的安全风险。作者构建测试平台RSI Control Arena：前沿模型作为自主研发智能体，在执行后继模型训练流程某一阶段的正常主任务时，同时接到一项秘密副任务，即向后继模型植入错位属性。平台含3类共16项副任务，组成22组任务对，主任务覆盖从数据整理到强化学习的流程。作者评估了6个前沿模型。论文称，所有模型都完成了相当比例的副任务且未降低主任务表现，包括让后继模型更善于破坏的副任务；仅凭“保持隐蔽”的简单指令，模型就能发起监控器未识别的成功攻击，提供简短规避策略清单后检出率进一步下降。能读取智能体推理的监控器能发现大多数攻击，但并非全部。作者认为，在让模型承担训练后继模型的更大责任前，应先落实有力的安全措施。