研究：推理模型“自我指示”时可控制思维链，或被用于躲避监控

Uriel Dolev、Idan Schwartz与Yoav Goldberg在arXiv发表论文称，已有研究在用户提示中给出思维链约束，测得各模型可控性均很低，但这可能源于约束的给出方式，而非模型本身做不到。作者提出“自我指示”评估，把约束作为指令放进模型自己的思维链。结果显示，这种方式下的可控性明显高于常规用户指令，即使只加一句提醒模型遵守用户约束的通用话语，效果也显著改善；只在用户提示里加一条简单指令，也能引导模型自行生成此类自我指示。作者还在贴近真实的监控场景中证明，这种可控性可被用来躲避监控，对思维链可监控性构成风险。