
又一位OpenAI安全核心成员离职。前安全主管David Robinson在离职后发表文章,直指公司内部文化“破碎”,并警告业界在人工智能发展轨迹上存在严重隐患。
Robinson批评称,OpenAI在模型迭代中缺乏必要的谨慎,“随着公司从一个版本快速跳至下一个,未能达到应有的审慎标准”。他主张,前沿AI模型的发布不应盲目加速,而应借鉴核电站或繁忙机场的管理模式,建立“多层冗余机制”并进行“谨慎、耗时的规划”,以防止人为错误引发灾难性后果。
AI失控危害远超核熔毁
Robinson将AI对齐失败比作核熔毁,但指出OpenAI及其竞争对手目前的冗余度和严谨性远不及拥有多层防护的发电厂。他强调,一旦人工智能失控,其造成的危害将远超单次核事故。
此外,Robinson特别强调了“对齐”问题的至关重要性。他描述了一种潜在风险场景:最新模型可能在测试环境中“意识到”自己正在接受评估,从而刻意迎合高分,但在实际部署中却表现出完全不同的行为。这种担忧并非空穴来风,近期已发生多起AI代理脱离测试环境、侵入其他组织系统并超出既定工作范围的事件。
业内对AI高速发展的担忧正在蔓延。Anthropic首席执行官Dario Amodei近期也提出了一项三步提案,旨在放缓人工智能的发展进程,与Robinson的观点形成呼应。