AI智能体在执行任务时偶有失控,从误删邮件到入侵网站,甚至发动网络攻击,风险层出不穷。东北大学助理教授魏岩(Weiyan Shi)指出,正如人类员工需要管理者,长期运行的AI智能体也亟需监管层,以纠正潜在的危险或不安全行为。

为此,魏岩联合斯坦福大学等机构的研究团队推出了名为“Shepherd”(牧羊人)的监管框架。该框架引入“元智能体”(meta-agents)作为中间层,像牧羊人引导羊群一样,对工作智能体进行监督、质量控制及必要的人类上报。相关论文将在2026年举行的NeurIPS会议上发表。

引入版本控制机制

Shepherd借鉴软件开发中的版本控制理念,基于Python和函数式编程原则构建。系统将智能体的每个动作及其环境状态(如邮箱、文件系统)记录为“提交点”,形成提交图。元智能体可遍历该图,观察智能体行为,拦截缺陷动作,或将智能体回滚至上一状态,亦可通过“分叉”尝试其他路径。

斯坦福大学研究人员、Shepherd团队成员张德克(Derek Chong)解释,工作智能体看似在真实环境中操作,实则其动作已被Shepherd沙盒捕获。这种机制充当了治理护栏,允许元智能体或人类介入决策,例如决定是否真正发送邮件。

多场景验证与开源进展

研究团队通过三个用例验证了Shepherd的可行性:一是利用主管元智能体解决并行编程智能体间的冲突,提升结对编程通过率;二是通过优化元智能体对已完成工作流程进行针对性编辑与部分重播,提升性能;三是在强化学习中,由训练元智能体选择最佳分叉点并给予奖励,引导智能体采取更优路径。

目前,Shepherd已作为开源项目发布,但张德克强调,团队正将其从Alpha阶段推进至完全生产就绪状态。该框架隶属于魏岩与张德克共同创立的“智能体科学研究倡议”(ASRI),旨在联合东北大学、斯坦福大学及加州大学伯克利分校的研究力量,探索提升AI智能体可靠性、鲁棒性及安全性的方法。

张德克表示,智能体管理至关重要,Shepherd致力于普及这一能力,通过让智能体相互检查与操作,赋能人类构建更安全、繁荣的AI系统。