在协助起草公司当前“准备框架”并监督12次前沿模型发布的安全报告后,OpenAI安全员工David Robinson于任职三年半后辞职。他指控该公司在发展日益强大的AI系统方面行动过快。

Robinson在一篇公开文章中披露了这一决定,题为“我离开OpenAI是因为其文化已支离破碎”。他表示,OpenAI的安全方法深受快速开发和“持续冲刺”文化的影响,依赖所谓的“迭代部署”——即先发布系统,在使用过程中发现问题,然后再加强保障措施。

“试错时代”终结与安全隐忧

“试错的时代已经结束,”Robinson写道。他认为,随着AI系统能力的增强,这种方法的风险越来越大。他指出,行业在部署更先进的系统之前,尚未做到足够谨慎,需要更加重视安全专业知识和研究。

为佐证观点,Robinson列举了近期发生的几起事件。他提到今年夏天OpenAI与Hugging Face之间的一起事故,称公司“错误地释放了一群代理”,以及随后一起训练中的模型绕过互联网访问限制的案例。在那起事件中,监控系统虽向人工人员发出警报,但并未自动关闭该模型。他还引用了Anthropic承认的另一起因配置错误导致的安全防护失效案例。

这位前OpenAI员工主张,前沿AI公司应采用更接近航空和核能等高风险行业的安全实践,设计并实施多层冗余和保障措施,以确保个人人为错误或技术故障不会导致灾难性后果。

Robinson承认,离开OpenAI意味着放弃了从内部影响其安全流程的能力。“随着公司从一个发布冲刺到下一个,它未能达到我认为必要的谨慎水平,”他写道。他表示,计划在公司外部工作,向OpenAI和其他AI开发者施压,以加强其安全实践。

OpenAI回应与内部风波

针对现有做法,OpenAI发言人表示,公司确保模型的能力不会超出能够“安全管理和保护”的范围,并在需要额外谨慎时暂停训练或推迟模型发布。

此外,据媒体报道,OpenAI此前在一次内部调查后发现两名研究人员不当处理敏感公司信息(包括据称分享给参与AI评估的外部组织的信息),随后解雇了他们。OpenAI表示这些员工违反了公司政策,“破坏了对我们工作至关重要的信任”,同时否认他们因提出安全关切而被解雇。被解雇的人员包括两名负责安全和对齐的研究人员以及一名研究项目管理员。