Artificial Analysis于2026年10月27日发布 Intelligence Index v5,并同步推出用于追踪模型能力变化的 Progress Index v1。公告称,v5新增 FrontierCode 2.0 和 Terminal-Bench-Science 两项评测,并升级另外三项基准;指数中约60%的结果首次来自私有测试集或保留答案集,意在减少公开题集被污染后对排名的影响。
新指数将知识工作、编程、科学和通用能力各设为25%的权重。公告给出的结果显示,Claude Opus 5.5(max)以58分暂列第一,GPT-6 Astra(max)和GPT-6.1 Sol(max)分别为57分和55分。该机构还称,开放权重模型与领先模型的差距由上一版本的3分扩大到12分;已发布权重的模型中,DeepSeek V4.1 Flash 1017和GLM-5.3均为32分。不过,这些排名属于Artificial Analysis基于自身方法和测试配置得出的结果,不等同于对模型通用智能或实际业务效果的独立认证。
公告还显示,编码代理、终端科学研究和知识工作等智能体评测只占指数权重的55%,却消耗了被测模型约90%的输出令牌;领先模型单项任务成本也存在明显差异。这说明模型比较正在从单纯的问答准确率转向长流程执行能力、工具使用、成本和可复现性。但由于部分数据集为私有数据,外部研究者难以完全复核;同时,不同模型的努力等级、工具环境和运行设置也可能影响结果。更稳妥的解读是:v5提供了一套更强调真实任务和代理工作流的比较框架,而不是一份适用于所有采购和部署决策的最终排名。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情