核心任务:掌握确定性逻辑与概率模型的边界

在AGNTCon发表的“上下文失效与修复”演讲中,作者深入探讨了上下文工程的现状与未来。随着模型能力迭代,开发者在追求新特性的同时引入了新挑战,系统构建者需正视这些由模型非人性特质引发的独特失效模式。

长上下文的幻象与失效模式

回溯至2024年底,“RAG已死”论调盛行,业界曾寄望于通过百万级甚至千万级Token的上下文窗口(如Gemini 1.5及Llama 4 Scout)囊括全部信息以解决AI问题。然而,长上下文并非万能药,反而引发了四种关键失效模式:

  • 上下文中毒(Context Poisoning):错误事实或幻觉混入上下文,导致模型无法摆脱干扰。例如,Gemini 2.5在玩《宝可梦红》时,因权重记忆中《火红版》的“冰茶”任务污染上下文,耗时数小时寻找不存在的物品。
  • 上下文分心(Context Distraction):过长的上下文使模型关注近期示例而非基础指令。研究显示,当矛盾示例增加时,包括Opus 4.6在内的模型遵循原始指令的比例显著下降;Gemini 2.5在上下文超过10万Token后,倾向于重复历史动作而非制定新计划。
  • 上下文混淆(Context Confusion):无关信息以隐蔽方式影响模型判断,如模型对用户身份产生错误假设。
  • 上下文冲突(Context Clash):工具调用、技能及记忆功能在系统中相互冲突,加剧混乱。

六大修复工具箱与系统工程实践

应对上述挑战,业界已形成一套核心工具箱,并逐渐从“提示工程”向自动化的“上下文工程”及确定性的“系统工程”演进:

  1. 上下文增强:通过RAG等方式引入相关信息。
  2. 工具负载管理:过滤非必要工具,避免模型过载。例如,某企业智能体因加载600个技能导致性能下降,经筛选后恢复。
  3. 上下文隔离:使用子代理或对等代理,以空白历史记录启动。
  4. 上下文修剪:剔除非必要的历史轮次或工具结果。
  5. 上下文卸载:将信息存储于外部环境中供后续访问。
  6. 上下文摘要:对历史记录进行压缩,或在压缩前利用小模型(如Jev)筛选重要信息。

基于DSPy框架,仅需约16行代码即可集成上述修复方案,实现智能体的循环优化。

2026年新趋势:代理模型与新失效模式

进入2026年,焦点转向长周期代理模型。GPT-5、Gemini 3.1及Opus 4.6已能处理数小时至数天的任务。然而,训练模型驱动系统也带来了新的失效模式:

  • 对抗权重(Fighting the Weights):模型过度拟合特定训练环境,表现出与当前需求相悖的行为偏见。例如,Claude Code需在提示词中反复强调并行处理,以克服模型训练形成的串行行为惯性。
  • 上下文惯性(Context Inertia):模型过度聚焦于某一子任务或假设,即便无效仍持续执行。Anthropic的Memento系统及微软研究院的研究均表明,定期清除上下文但保留环境成果,能显著提升性能并打破僵局。

展望2027:记忆冲突与战略性遗忘

随着个人智能体(如Hermes、OpenClaw)长期运行,技能与记忆的积累将导致指令冲突和方案恶化。未来的核心挑战在于如何实现“战略性遗忘”,以解决随时间推移而日益复杂的记忆混乱问题。

综上,AI输出是模型权重与上下文的产物。构建智能系统的关键,在于通过确定性代码与概率性模型的合理分工,向正确的模型提供正确的上下文。在模型能力提升的同时,系统必须进化以更精准地管理上下文,平衡信息摄入与噪声控制。