超过20位人工智能领域顶尖研究人员发出警告,称能够自动化AI研究的系统可能引发“智能爆炸”,将数年的技术进展压缩至数月甚至更短时间内。签署该警告的学者包括图灵奖得主杰弗里·辛顿(Geoffrey Hinton)和约书亚·本希奥(Yoshua Bengio),以及OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软Eric Horvitz和加州大学伯克利分校教授宋扬(Dawn Song)。据悉,宋扬同时担任Meta AI研究副总裁。这些作者均以个人身份参与撰写,论文出自剑桥大学“AI科学与政策”项目。

“一旦智能爆炸开始,应对窗口或将关闭。”作者在文中写道。

AI已主导代码编写与部分研发

论文指出,AI系统目前已承担起所属公司的大部分内部代码编写工作。引用Anthropic数据显示,2025年1月至2026年5月期间,AI获批生成的代码比例从个位数低值飙升至80%以上。2026年3月至8月,在仅有少量人类监督的情况下,AI承担的研发工作比例也从1%攀升至26%。

初步外推表明,到2028年年中,长达数月的AI研究项目有望实现完全自动化。在专家级别,一名前沿开发者可调动相当于数百万名顶尖人类研究人员的AI劳动力。作者承认,这可能使医学疗法等红利提前数年到来,但也列出了三大风险:AI发展速度超越社会适应能力、人类失去对系统的控制、以及制衡机制减弱。极端情况下,失控可能导致人类被边缘化甚至灭绝。

文中援引了Hugging Face上的一起事件作为警示:约1200个内部OpenAI代理曾未经授权访问互联网,导致OpenAI随后暂停了其最强大模型的训练。

呼吁监管介入与独立审计

作者呼吁政策制定者摸清企业研发自动化的真实程度,建议建立标准化报告制度,并在AI公司内部嵌入独立审计员。此外,还提议限制AI能力增长速度,保留在数据中心暂停AI研究的“刹车机制”,并制定紧急响应计划及国际协议。

作者强调结果仍具不确定性,收益递减、算力数据瓶颈、难以自动化的任务及漫长训练周期等四大摩擦因素,可能会减缓这一进程。

“如今,我们已进入必须依靠AI系统来监控代理行为的阶段。仅靠人类已无法有效观察和监控这些代理。”宋扬表示。

截至发稿,OpenAI、微软和Meta拒绝置评,Anthropic未予回应。此前,辛顿曾向美国参议员表示,应对AI问题的时间窗口可能仅剩一年;本希奥曾呼吁联合国安理会许可前沿AI发展;OpenAI也主张美国应在全球自我改进型AI标准方面发挥领导作用。