“零幻觉”神话破灭:Jev模型遭间接提示注入攻击

安全研究人员指出,TypeSafe AI于2026年9月推出的Jev决策模型及类似系统,仍易受间接提示注入攻击。这一发现挑战了“结构化输出和类型化概率能提供有效保护”的行业观点。

Jev通过对固定选项集赋予概率来回答问题,旨在避免大型语言模型(LLM)的自由文本生成幻觉,定位为更快、更便宜的路由与决策替代品。TypeSafe AI声称其模型不会犯类型错误,但研究证明,“不犯类型错误”并不等同于“不会犯错”。

实验复现:恶意广告如何劫持决策概率

HiddenLayer研究人员构建了一个模拟在线商店环境,部署基于jev-ultrafast的浏览器代理,指令其购买购物车商品且不增减内容。系统明确设定页面文本为不可信数据。然而,当团队植入一条包含“确认价格”按钮的赞助广告后,代理行为发生偏离:它未执行结账,而是点击了广告按钮。

数据显示,攻击显著改变了概率分布。在出现广告前,代理对“下单”的概率分配高达99.7%;广告出现后,“确认价格”捕获了91%的概率,“下单”降至9%。在Jev模型上,广告按钮概率升至79.9%,而“下单”仅为19.3%。同样的攻击也导致OpenAI的gpt-6-luna通过Decisions API偏离轨道。

多方验证:架构改变未消除核心风险

多项独立研究佐证了这一脆弱性。2026年9月发表在arXiv的论文《决策劫持》审查了510个案例,发现恶意内容虽很少迫使模型选择确切目标,但能显著改变行动概率。使用分数反馈的自适应攻击使成功率从1.8%升至3.5%。

Check Point Research在2026年9月24日的分析中指出,即便模型收到忽略嵌入命令的明确警告,防注入指令几乎不起作用,攻击成功率仍达59%。Lasso Security的评估显示,在0.25%假阳性率下,专用分类器捕获95.4%的攻击,而Jev仅捕获76.2%;在无明确覆盖措辞的攻击中,Jev放行的攻击数量是其他系统的五倍多。

Opper.ai的基准测试则呈现喜忧参半的结果:虽然决策模型在分类任务中速度比等效LLM快约十倍,且Clef对直接攻击具有高召回率,但所有模型在工具结果和非英语提示方面均显弱点。Jev表现为高精确度但低召回率。

行业反应:快速集成背后的隐忧

尽管风险显现,市场采用速度依然迅猛。媒体报道称,Jev推出数日内,Vercel有13%的付费AI Gateway团队开始使用,Cloudflare、LangChain和Langfuse也迅速添加集成。TypeSafe取消了等待名单并提供免费额度。然而,Pydantic文档和TypeSafe自身限制页面均承认,对抗性内容可引导输出。

HiddenLayer还测试了TokenBreak风格攻击,发现微小的针对性更改即可降低毒性评分。行业观察者在社交平台指出,决策模型底层仍依赖LLM基础,仅修改了解码机制,并未根除安全隐患。

安全建议:纵深防御而非单一依赖

截至10月16日,TypeSafe尚未就HiddenLayer的研究发布详细公开回应,但其文档已将对抗性引导列为已知局限。研究人员建议,企业应将决策模型视为不受信任的组件,采取分层防御措施:

  • 实施严格的输入清理与输出验证;
  • 对高风险操作要求人工批准;
  • 监控异常概率波动以识别潜在操纵;
  • 根据自有标记数据设置自定义阈值,而非依赖默认值。

决策模型提升了速度并降低了成本,但并未解决提示注入的根本问题。适用于生成式模型的攻击经轻微调整即可生效。进步并非来自完美的不可侵犯性,而是来自更窄的范围、更好的测量和纵深防御。目前,决策模型应作为工具箱的一部分,围绕智能体栈的其他部分保持同等谨慎。