OpenAI首席科学家Jakub Pachocki近日发表文章,主张将困惑度(Perplexity,即交叉熵损失)确立为衡量模型开发商进展及制定通用安全标准的核心指标。他认为,追踪更优数据压缩器(即预测器)的训练进度,是理解AI发展弧线的关键。 Pachocki指出,现代AI并非从零设计,而是通过在大规模语料库上训练压缩器来 harness 智能。尽管算法进步模糊了训练阶段的界限,但仍可将AI发展分为两个阶段:首先是构建具有难以预测的涌现能力的“智能基底”(他称之为“外星思维”),其次是针对特定场景通过提示、微调或强化学习等技术激发其潜在能力。 困惑度:智能基底的恒定标尺 多年来,衡量这一“智能基底”进度的主要方式保持惊人的一致:在保留数据集上追踪模型的困惑度。困惑度越低,意味着模型对下一个token的预测越准确。从GPT-3.5开始,这一指标的演变清晰映射了能力的跃迁: - GPT-2:在旧数据集上刷新困惑度纪录,成为首个能持续生成连贯段落的模型。 - GPT-3:实现上下文学习,仅需少量示例即可完成特定任务。 - GPT-3.5:在当前主要评估数据集上的对数困惑度约为0.99,支持流畅对话,构成了初代ChatGPT的基础。 - GPT-4:对数困惑度降至约0.91,熟练掌握思维链推理,催生了现代推理模型的定向激发。 - 当前模型:损失值已低于0.8,在网络安全和数学等领域展现出变革性能力。 Pachocki强调,这些能力并非预先设定,而是随着困惑度突破特定阈值后涌现的潜在能力。尽管下游能力的评估基准随AI快速发展而迅速饱和或失效,但预训练进度的追踪仍具长期参考价值。 2027年或迎算法研究“雪崩” 文章特别关注AI对自身开发的贡献。Pachocki认为,除了常被讨论的“完全递归自我改进”外,AI参与预训练算法研究可能带来阶跃式变化。他透露,当模型对数困惑度升级至约0.76时,其在解决开放数学问题上开始产生突破性结果。这种转变让他推测,深度学习研究领域也可能在2027年左右迎来基础预训练进步的“雪崩”。 尽管AI也将助力对齐和监控技术的进步,但其速度可能不足以匹配预训练潜力的全面加速。因此,基于困惑度的衡量标准可为通用智能提供独立于开发自动化程度的共同基准。 呼吁建立行业共同限制标准 Pachocki预测,随着进入对数困惑度0.68-0.7的区间,更多变革性能力将涌现,同时现有的对齐审计手段可能进一步失效。为此,他呼吁前沿模型开发商共同努力: 1. 建立共享规范:在模型首次使用前,联合制定评估方法及红队测试安全案例的标准,包括透明度标准。 2. 设定共同限制:基于困惑度等指标设定开发上限。在理解和监控AI行为的能力达到具体里程碑(如开发出思维链监控器的继任者)之前,承诺不跨越该限制。 他希望通过此举,为设定后续限制和规范进一步发展建立共同框架。 指标面临的挑战与价值 尽管困惑度作为通用指标面临诸多挑战,包括不同实验室间难以比较、与具体可操作任务脱节、未能完全涵盖预训练外的进步(如思维链推理不降低困惑度但提升能力),以及理论下限未知等,但Pachocki认为,该指标经受住了时间考验,持续反映通用智能的稳定增益。他期待行业在这一指标上展现更多透明度,以标准化关于AI进展的讨论。