
滑铁卢大学、浙江大学和瑞典皇家理工学院的研究人员发现,大型提示注入攻击数据集存在严重的冗余问题。在四项测试中的三项里,经过此类数据重新训练的AI智能体更容易被劫持。那些能发现更多有效攻击的自动化红队工具,反而导致了更弱的防御效果。
数据量更大的一方落败
研究人员设置了一场竞赛,让两款攻击工具PISmith和RL-Hammer针对小型模型Qwen3-4B进行攻击测试。PISmith以巨大优势领先,突破了68.75%的任务,约为RL-Hammer(33.39%)的两倍,并生成了7,132个有效攻击样本,而RL-Hammer仅为4,282个。
然而,当团队分别使用这两组数据通过强化学习对模型进行重新训练,并投喂三种未见过的攻击时,结果出现反转。基于PISmith较大数据集训练的模型,在最糟糕的情况下有47.5%的时间被劫持;而基于RL-Hammer数据的版本最高仅为27.5%。这意味着在40个高难度测试任务中,前者有19个被攻破,后者仅11个。尽管样本量小,但这种“数据越多防御越弱”的模式在四项设置中出现了三次。
相同的伎俩,不同的措辞
研究指出,造成这一差距的原因在于攻击工具陷入了“僵局”。一旦找到有效技巧(如欺骗智能体任务已完成),工具便会在后续任务中反复使用该逻辑。尽管现有工具包含强制多样性检查,但仅衡量措辞差异。例如,RL-Hammer通过改变字母大小写或添加无关文本来满足检查,实则未增加技术多样性。
这导致智能体实际上是在数千个少数攻击的改写版本上进行训练,虽封闭了部分漏洞,却使其余漏洞保持开放。测量显示,两种工具收集的数据在训练早期就停止覆盖新领域,更大的数据集仅仅购买了更多的副本,而非更高的覆盖率。
PIPETTE:以技术多样性重塑防御
为此,研究人员构建了名为PIPETTE的系统。该系统按技术类型对成功攻击进行分类,并在攻击工具使用未发现的技术时给予额外奖励。随后,PIPETTE对智能体进行重新训练,使其在执行动作前检查是否符合用户原始请求,避免因数据可疑而直接退出任务。
在AgentDojo测试平台上,经PIPETTE训练的智能体对现成注入攻击的平均通过率低于0.5%。即使攻击者尝试重写指令约250次,在三个模型上也仅突破了40个弱点中的10%。更重要的是,加固后的Qwen3-4B完成干净任务的比例为64.95%,略高于原始模型的61.86%,并未出现“畏缩”现象。
相比之下,传统检测工具如PromptGuard虽拦截率略高,但其背后的智能体完成真实任务的概率仅为16.19%,远低于PIPETTE的58.10%。测试涵盖参数量从40亿到270亿的开源模型,作者指出,若攻击者预算更高,成功率可能上升,且在GPT-OSS-20B上,基于搜索的攻击者仍能在40个任务中突破4个。
如何评估厂商安全性
成功攻击的数量仅反映红队的忙碌程度。更具价值的指标包括:测试覆盖了多少种不同的攻击技术、智能体在面对允许数百次尝试的攻击者时的表现,以及加固后智能体完成给定工作的频率。