据arXiv预印本论文,作者Basel Shbita等提出基于LLMON(LLM对象表示法)的后训练方法,将可执行指令与被动数据分离,并要求基于显式标识符执行。研究团队构建了覆盖通用、RAG与工具调用数据的46亿token结构化训练语料,并加入含干扰指令与无关数据的变体。对两个Granite-4.1基座模型(3B与8B)先监督微调再强化学习后,作者称LLMON结构化监督将间接提示注入基准上的攻击成功率从53%-100%降至0.02%-5.6%,同时保持通用能力。论文还提出基于注意力的可解释性指标,用于诊断结构化输入在各Transformer层上的失效模式。作者表示,无需修改架构即可通过标准后训练教会模型显式执行语义。该论文为预印本,尚未经同行评审。
研究:LLMON结构化后训练可将间接提示注入攻击成功率降至0.02%-5.6%
arXiv