
Artificial Analysis正式推出Intelligence Index v5,这是自今年1月v4版本发布以来的最大规模升级。新版指数中,60%的评估基于私有测试集或保留答案,首次实现过半数指标依托私有数据构建。与此同时,该公司同步发布Artificial Analysis Progress Index v1,旨在单一连续尺度上追踪模型能力随时间的演变。
基准测试大幅调整
v5版本引入两项全新基准测试,并对三项现有指标进行升级,同时剔除部分旧有项目。
新增项目:
- FrontierCode 2.0:Cognition推出的私有基准,涵盖真实世界编码任务,以仓库维护者是否合并代理提出的更改作为评分依据。
- Terminal-Bench-Science:包含70项在终端环境中运行的智能体科学研究任务。
升级项目:
- HLE-Diamond:取代原有的“Humanity's Last Exam”,为该数据集的精简版,共1000道题,推理与知识题各占半壁江山。
- AA-Omniscience v1.1:移除饱和及公开题目,新增试题并修订模糊或错误内容。
- CritPt v2:由作者修订的私有子集,含40道难题,通过代码执行工具运行。
保留项目:AA-Briefcase、AutomationBench-AA、GDP.pdf和Terminal-Bench 4.0继续留在指数中。
移除项目:GDPval-AA v2.1、SciCode和AA-LCR v1.1被剔除。
关键评测结果
Claude Opus 5.5 (max) 以58分位居榜首,GPT-6 Astra (max, 57分) 和 GPT-6.1 Sol (max, 55分) 紧随其后。Anthropic与OpenAI包揽前五名,Gemini 4 Argon (high) 以50分位列第四。
开源权重模型差距扩大:领先模型与开源权重模型的分差从3分扩至12分。Kimi K3.1 Pro(权重尚未发布)以46分在开源权重模型中领跑。在已发布权重的模型中,DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 均以32分领先,但落后第一名26分,且低于Claude Haiku 5.5 (max, 36分)。
成本差异显著:在得分最高的10个模型中,单任务成本差异超过13倍。GPT-6.1 Terra (max) 最具性价比,每个Intelligence Index任务仅需0.96美元;而Claude Fable 5.1 (max) 最为昂贵,单任务成本高达13.04美元。