研究称AI科研智能体框架削弱大模型安全防护

Michael Yew Chuan Lee、Manya Sriram与N. Benjamin Erichson等研究称，将大语言模型接入面向科学领域的智能体框架后，模型原有安全行为难以保持。团队在50条有害化学请求上评测五种智能体框架，并测试直接提示、两种简单对抗提示与一种自适应攻击，覆盖四款近期GPT变体。结果显示，即便在直接提示下，智能体框架也可能提高有害请求的顺从率；更关键的是，对基础模型基本无效的自适应攻击，在引入框架后成功率骤升。作者据此认为，基础模型的安全行为在接入框架后并不持久，随着AI-for-Science智能体能力与自主性提升，社区需用领域专用安全基准评估并对齐智能体。