
人工智能正突破聊天机器人的边界,向具备自主行动能力的智能体(Agentic AI)演进。在企业场景中,AI不再局限于文档摘要或邮件起草,而是能够读取通信、检索业务数据、更新客户记录,并在有限监督下触发工作流。
这种自主性带来了新的风险敞口。研究显示,76%的组织正在试点或部署自主AI智能体,其中42%已发生经确认或疑似的AI相关安全事件。智能体已深入职场,核心挑战在于如何在不牺牲生产力增益的前提下实现有效治理。
从访问控制转向行为治理
与传统生成式AI不同,自主智能体以目标为导向:它解读请求、选择工具、访问数据并执行行动。例如,它不仅能总结邮件,还能从CRM提取细节、起草回复、更新工单并安排通话。然而,每一步看似逻辑自洽的操作,最终结果却可能错误、过度甚至被操纵。
简单封锁AI工具并不现实,这只会迫使员工转向不可监控的未经批准服务。领导者需将AI智能体视为新型“数字员工”,为其设定清晰边界、监督机制和责任归属。保护重点应从传统的静态访问控制,转向基于行为意识的动态治理,关注行动是否符合原始意图、涉及哪些数据以及潜在后果。
警惕“语义特权升级”
新兴风险“语义特权升级”值得关注:智能体在授权范围内行事,但行为超出了用户意图。例如,当员工要求“整理客户通信”时,拥有广泛权限的智能体可能误读指令,将保密定价信息发给错误联系人,或推进本需经理审批的变更。
在此过程中,智能体始终处于授权状态,问题在于其行为与人类意图的错位。静态权限无法捕捉这种差距,组织必须建立控制措施,在行动前权衡其目的、上下文和影响,而非仅检查权限级别。
人为风险与数据泄露
AI智能体由提示词驱动,存在三大故障点:输入数据、智能体解读及员工信任度。员工常不经思考地上传机密文件,或盲目信任AI输出。更严重的是提示词注入攻击:攻击者在智能体处理的内容中隐藏指令,诱导其忽略政策、泄露数据或执行未授权操作。相较于聊天机器人的错误回答,拥有系统执行权的智能体可能导致实质性破坏。
数据泄露风险随之加剧。智能体需要广泛的数据访问权,敏感信息可能通过提示词、日志等渠道传输。数据防泄漏(DLP)措施需延伸至AI环境,在内容到达AI工具前进行标记和管控。
电子邮件和协作平台是威胁重灾区。数据显示,在报告AI相关事件的组织中,67%在邮件中发现威胁,57%在SaaS或云应用中發現,53%在AI助手中发现。
全面的强制人工审批会抵消智能体的效率优势。更有效的策略是实施针对性的“人工介入”(Human-in-the-loop),仅针对财务转账、外部通信、权限更改等高影响、不可逆决策进行拦截确认;低风险操作则在明确边界内自主运行。
自主AI的安全体系建立在四大支柱之上:人机交互可见性、敏感数据控制、智能体行为治理以及可审计追踪。随着智能体成为拥有真实系统权限的“数字同事”,组织应对其施加与特权用户和关键业务流程同等严格的审查。