ALTK-Evolve 利用 GPT-4.1 学习并应用一套行为准则，在客户服务智能体基准测试 τ²-bench 的零售场景中，以无需更新模型权重的方式超越了所有现有参赛项目。
基于 GPT-4.1 的记忆增强使基础智能体登顶
在使用非推理模型 GPT-4.1 的情况下，基于标准 ReAct 架构的基础客户服务智能体，在 τ²-bench 零售任务中取得了 67.5% 的 Pass^4 得分。这意味着该智能体在 67.5% 的任务中，能够在四次独立尝试中全部成功解决。这一成绩超越了截至 2026 年 10 月 12 日排行榜上的所有零售领域项目。
ALTK-Evolve 的核心在于利用 GPT-4.1 构建行为准则。系统分析智能体在训练任务中的尝试过程，将成功与失败的经验提炼为简短的行为规则（如身份验证、交易确认、退货处理等），并直接附加到系统提示词中。由于提取准则与驱动智能体使用同一模型，该方法既无需更新模型权重，也无需人工标注。
τ²-bench：受政策约束的客户服务测试
τ²-bench（由 Sierra 提供）旨在衡量智能体在真实约束下处理客户服务对话的能力。每个任务将智能体与由大语言模型模拟的客户配对，客户拥有明确目标、领域工具（如查询订单、退款、改签）及必须遵守的政策文档。智能体需提取关键信息、严守政策并执行正确操作；仅当最终数据库状态与预期完全一致时，任务才算解决。
测试涵盖零售和航空两个领域。实验采用两阶段 THINK → ACT 循环，使用 gpt-4.1 作为智能体模型，gpt-5.5 作为客户模拟器，每个任务进行 4 次试验。唯一的变量是在系统提示词末尾附加学习到的准则块，其余配置均为标准设置。
## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action...
- Always confirm all intended changes with a clear summary...
- When processing a return, communicate the refund with an itemized breakdown...
- Take one action per step: never combine a tool call with a user-facing message...
准则显著提升能力与可靠性
研究评估了不同数量准则对性能的影响。每条准则拥有支持度（support）计数，即从多少个不同训练任务中提取。高支持度意味着更强的泛化能力。实验比较了三种配置：baseline（无准则）、sup3（支持度 ≥ 3 的高置信度核心集）以及 lossless（保留所有准则，支持度 ≥ 1）。
关键指标包括：
- 平均准确率（Mean Accuracy）：4 次试验的平均成功率，衡量智能体的能力。
- Pass^4：4 次试验全部通过的任务百分比，衡量可靠性。这是 τ²-bench 排行榜的核心指标，确保智能体在每一次交互中都值得信赖。
| 领域（测试任务） | 配置 | 平均准确率 | Pass^4 |
|---|---|---|---|
| 零售 (40) | baseline | 78.1% | 57.5% |
| lossless | 82.5% (+4.4) | 67.5% (+10.0) | |
| 航空 (20) | baseline | 57.5% | 35.0% |
| lossless | 65.0% (+7.5) | 40.0% (+5.0) | |
| sup3 | 60.0% (+2.5) | 45.0% (+10.0) |
数据显示，平均准确率在零售领域提升 +4.4 个百分点，航空领域提升 +7.5 个百分点。可靠性提升更为显著：零售领域 Pass^4 上升 +10 点，航空领域在 sup3 配置下也上升了 +10 点。
最佳指导量因领域而异
不同领域对准则数量的敏感度存在差异。在零售领域，准则越多效果越好，完整的 lossless 集合实现了性能的飞跃。而在航空领域，紧凑的 sup3 核心（14 条准则）在可靠性上表现更佳，将 Pass^4 提升至 45%，高于 lossless 的 40%。这表明支持度是一个需要针对特定领域微调的参数，而非固定值。
性能提升源于更优决策，而非更长对话
引入准则增加了提示输入的 Token 成本，但并未延长对话轮次。相反，在双方均解决的任务集合中，准则使对话轮次略微缩短：lossless 配置在零售领域减少约 0.43 轮，航空领域减少约 0.33 轮。更少的轮次意味着更低的端到端延迟，从而加快客户问题的解决速度。
| 领域 | 配置 | 每次对话成本 | 相较于基线 |
|---|---|---|---|
| 零售 | lossless | $0.139 | +65% |
| 航空 | lossless | $0.107 | +32% |
虽然输入成本有所增加（零售 +65%，航空 +32%），但在生产环境中，这部分成本可通过提示缓存（prompt caching）大幅降低。最终，该方法以稍高的输入成本换取了更高的准确率、可靠性和更低的延迟。
前沿模型同样受益
为了验证该方法对前沿模型的有效性，研究使用 gpt-5.5 同时作为智能体和准则提取模型，在航空任务上重新运行实验。结果显示，学习到的准则依然带来显著增益：
航空 · gpt-5.5 (20 个未见测试任务) |
准确率 | Pass^4 |
|---|---|---|
| 基线 (0 条准则) | 72.5% | 55.0% |
| lossless (146 条准则) | 82.5% (+10.0) | 70.0% (+15.0) |
在相同的未见测试任务上，准则使准确率提升 +10 点，Pass^4 提升 +15 点。这一可靠性增益甚至超过了在 GPT-4.1 上观察到的效果，且表现稳定复现，证明该方法能有效增强更强基础模型的性能。
ALTK-Evolve 登顶排行榜
在 τ²-bench 完整基础划分（训练集 ∪ 测试集）的官方评分中，ALTK-Evolve 表现优异：
- 零售领域第 1 名：带有学习准则的智能体 Pass^4 达到 67.5%，以 +6.1 分 的优势击败了在合成数据上微调的 RAFT-30B-A3B 模型（61.4%）。
- 航空领域第 1 名（GPT-5.5）：使用 GPT-5.5 的智能体 Pass^4 达到 82.0%，超越所有前沿条目（66–72%）。即便使用 GPT-4.1，其 Pass^4 也达到 44%，排名第 8，击败 GPT-5.2 并追平 Claude Sonnet 4.5。
结果表明，围绕模型学习准则的方法在不同基础模型上均有效：它将较旧模型带入前沿行列，并将前沿模型推向榜首。ALTK-Evolve 证明了智能体可以在不更新权重、无需人工标注的情况下，通过自动提取的提示级准则实现性能的大幅改进。