研究称大模型文字拒答难迁移到工具调用

Ekagra Gupta、Raj Saha、Aniekan-Abasi Inyang与Adam Al Gharib发表论文称，大模型作工具调用智能体时，安全评估仍多盯文字拒答。作者构建含2304条提示、覆盖四领域的基准，用匹配三元组比较纯文字、标准工具与对抗性工具场景，并以20类禁止动作衡量工具调用安全。在五个不同规模与系列模型上，作者称文字已拒答的有害请求在标准工具提示下仍有10%至52%出现不安全工具调用；残差流中拒答相关方向的激活在五模型中有四个在工具场景下降，较低激活可预测不安全调用（AUC为0.76至0.86），但激活修补与沿拒答方向操纵仅部分奏效，且常伴随抑制良性工具使用或输出质量下降。论文称评估工具调用智能体安全需同时检视行动与文字回复。