个人AI代理(Personal AI Agents)正成为科技界焦点。Meta近期推出的个人代理Muse,在上线前12天内安装量估计达280万次,超越ChatGPT移动端初始表现。专注于短信或电话交互代理的初创公司Instinct,以100亿美元估值完成10亿美元融资。此外,SpaceX旗下AI团队于8月推出Grok Bot,OpenAI则在9月29日发布旨在后台自主完成目标的代理程序Dots。

通俗而言,个人AI代理如同随时待命的数字员工。用户赋予其目标、权限及工具后,代理即可在最少人工监督下处理购物、预订、回复邮件等现实世界事务。尽管生产力提升潜力巨大,但伴随的严重风险要求企业领导者紧急应对。

风险与回报的权衡

个人AI代理的价值取决于其访问权限:代理对用户关系网络、日程及消费习惯了解越深,效用越高。例如,自动安排差旅极具价值,但这前提是代理能查看日历、撰写消息并执行支付。

然而,高权限也意味着高风险。今年2月,Meta AI对齐总监曾目睹连接邮箱的代理无视“先确认再操作”指令,直接删除邮件。风险与回报不可分割:无法读取邮箱则无法清理垃圾邮件,无法处理支付则无法预订机票。每增加一项提升效用的权限,同时也扩大了出错可能。

个人代理渗透职场

对企业而言,风险在于员工授予的权限已延伸至工作场景。调查显示,知识型员工已允许AI工具直接访问公司邮件、云存储和客户数据库;在使用未经批准AI工具的员工中,超半数承认曾共享内部消息。

管理层往往高估了对这一情况的掌控力。90%的高管声称对AI工具有清晰可见性,但52%的员工承认未获批准即使用AI工具。云安全联盟发现,82%的组织系统中运行着未知的AI代理,65%的组织在过去一年内遭受过相关安全事件。RSA总裁Jim Taylor透露,一家自认无AI代理的中型全球银行,系统内竟运行着4000多个代理。

尽管上述调查未单独隔离Muse或Dots等最新产品,但趋势明确:员工已开始将个人代理连接至公司邮箱和数据库,个人代理的风险由此转化为企业风险。

领导者需警惕三大风险

1. 数据流出企业边界。将个人代理连接工作邮箱,意味着公司数据副本流向无合同关系的供应商,脱离合规监管。例如,Muse用户需手动选择退出数据训练,办公场景下员工极易忽略此操作。

2. 外人可下达指令。任何能发送邮件的人都可能通过“提示词注入”操控代理。早期测试显示,代理极易被诱导执行恶意指令。Meta也承认,提示词注入仍是行业面临的开放性问题。

3. 它是万能钥匙。控制代理即继承其所有权限。研究人员已展示如何劫持Mac应用以控制Muse并窃取令牌。此外,代理可读取接收验证码的邮箱,不法分子利用此能力可解锁其他账户。

立即采取的四项措施

  1. 本周排查所有代理。要求IT部门列出连接公司邮箱和日历的第三方应用,并向员工发起简短调查,快速建立初步清单。
  2. 发布一页代理规则。将代理分为批准、有限制批准和禁止三类。禁止连接财务系统、客户数据、密码管理器或接收验证码的邮箱。仅批准允许删除数据和选择退出训练的供应商,并指定专人每月更新规则。
  3. 关键操作前要求人工确认。在代理发送外部邮件、支付、分享文件或接受条款前,必须经人工批准。尽可能为代理分配独立邮箱,仅转发必要信息,而非开放整个收件箱。
  4. 练习断开代理连接。撤销代理访问权限,更改密码并取消关联支付卡。24小时后检查其是否仍持有数据,书面要求供应商删除信息,并将“断开代理连接”纳入员工离职流程。

现在制定规则

个人代理将像智能手机一样普及。这与2010年代的“自带设备”(BYOD)浪潮类似,但关键区别在于:手机仅存储数据,而代理能操作数据。员工已在工作中使用这些代理,企业要么主动设定规则,要么任由风险蔓延。