
在 Claude Code 团队中,约 90% 的代码由 Claude 编写并审查。随着规模扩大,为智能体提供基于证据的验证能力成为关键。
验证循环是将工作大规模委托给 Claude 的基础。缺乏验证时,人类必须亲自检查所有输出,限制了并行实例数量;引入验证后,系统可并行运行数十甚至数百个实例。内部测试显示,在结构化文件生成任务中,引入独立评分器检查相比标准提示循环,任务成功率提升高达 10 个百分点,且在解决高难度问题时效果显著。
过去昂贵的验证环节(如测试、基准测试、规范说明及端到端运行),现在可由智能体廉价生成。这些生成的测试作为软件运行,可频繁执行而不消耗过多 Token。此外,通过利用验证结果改进智能体表现,可形成闭环。例如,若智能体反复未能通过某项数据检查,可在 CLAUDE.md 中添加规则以避免类似问题复发。
值得投入的三种测试
为避免训练智能体重跑而非修复代码,测试需避免不稳定(flaky)和缓慢。以下是三种高价值测试类型:
端到端测试 (E2E Tests)
若仅选一种测试,首选端到端测试。它描述真实用户流程(如加入购物车至结账),难以被欺骗且具备明确完成标准。相比单元测试,E2E 能捕捉完整上下文失效。最佳实践是引导智能体“手眼并用”操作真实系统,利用 CDP、模拟器或 API 测试套件,并结合功能地图作为评分标准。
属性测试:不可打破的约束
属性测试关注易被忽略的边缘情况。通过定义不应失败的陈述(如往返编码一致性、账户余额非负不变量、操作幂等性、代码等价性),并利用测试库生成大量输入试图证伪。这种方法能有效抵消智能体的偏见,尤其在重构过程中,当规范与生产行为偏离时提供保障。
差分测试:旧系统即基准
在大型迁移场景中,差分测试通过对比新旧系统对相同输入的输出差异来发现 Bug。关键在于使用随机生成输入或生产流量样本,标准化无关因素(如空白字符),并维护批准变更列表以处理预期差异。
Claude Code 团队的验证实践
验证意味着运行变更
端到端运行应用程序优于单纯测试。团队创建名为 verify 的技能,置于 .claude/skills/ 目录,指导 Claude 在提交前启动模拟器或运行服务。该技能需经过迭代和压力测试,确保坚如磐石,充当冒烟测试框架。
失败测试触发人工介入
Claude 自动运行检查并尝试修复失败项。若经过三轮修复仍失败,系统将停止并引入人工处理。
代码所有者编写检查规则
代码所有者负责编写并完善检查规则,直至其能准确标记所有者关注的问题。检查触发审阅时需说明原因,降低推断成本。
基于差异的可靠性检查
团队维护一份包含 39 项内容的可靠性清单,每项关联可从代码差异中读取的触发器。Claude 仅检查匹配触发器的项目(通常 3-10 项),无需记忆历史故障。例如,当会话存储变化时,自动检查新字段能否安全加载旧转录记录。
单审阅者,多轮审查
相比增加昂贵审阅者,团队更倾向于优化主要审阅者效果。通过 REVIEW.md 指引审阅重点,并将多轮审查叠加,每轮聚焦早期上下文和过往失败,以更低成本发现更多问题。
变更不可修改自身检查规则
为防止作弊,审查规则从基础分支读取,严禁从拉取请求变更中读取。审查仅针对特定提交,推送新代码将使审查失效。此外,团队优先运行本地廉价检查,Claude 需在打开拉取请求前通过测试、构建和 Linter,避免浪费共享 CI 资源。
观察模式与执行模式
仓库为每个提交打上验证标签。新增提交关卡设有“关闭”、“观察”和“执行”三种模式。观察模式记录本应被阻止的内容以审查误报;执行模式直接阻止未经验证的提交,但允许附带解释,并在连续两次阻止后放行一次,防止系统停滞。
持续优化:将遗漏转化为规则
团队定期评估“审阅者”效能,追踪合并回滚率及维护者拒绝率。通过基于历史事故和回滚建立评估体系,分别评估原始发现、验证后及最终审查的召回率,避免过拟合。
对于遗漏案例,团队采用两种方法转化为规则:一是从人工审查评论和 PR 回滚中提取至少出现两次的常见问题模式,经智能体反驳和人工批准后纳入规则;二是在已知事故相关的 PR 上重播 Bug 查找器,若在小差异中漏掉 Bug,则将其转化为 REVIEW.md 中的规则。同时,定期清理不再有效的测试和规则,防止系统膨胀。
赋予智能体强大的反馈验证循环,能将工作重心从阅读每个差异转变为定义“完成”标准并审查证据,从而实现大规模并行开发。