Artificial Analysis更新Intelligence Index：Kimi K3.1 Pro跌五位，开源与闭源模型差距从 3 分扩大到 12 分
Artificial Analysis改版Intelligence Index（第 5 版），首次让 60% 的评测依赖私有测试集。Kimi K3.1 Pro从第 4 名降至第 9 名，Grok 4.7也掉了 12 分；该机构称开源与榜首的差距由 3 分扩大到 12 分。
AI解读：Artificial Analysis推出第 5 版Intelligence Index，改动之一是首次让 60% 的评测基于私有测试集，目的是防止“benchmaxxing”，即针对已知测试题专门训练模型。
改版后Kimi K3.1 Pro的排名从第 4 名降到第 9 名，排在 8 个闭源模型之后；Grok 4.7的分数也下降了 12 分。该机构现称开源模型与榜首的差距为 12 分，此前为 3 分。
AI研究员Nathan Lambert认为，benchmaxxing只能解释部分现象：当前许多训练收益来自与基准任务相似的强化学习环境，而在多个领域同时保持水平需要较强的RL基础设施，并非每个实验室都具备。
私有测试集也带来代价：外部人员无法再检查提示词中的错误。该机构在AA-Omniscience知识测试中曾修正含义模糊和有缺陷的题目，说明这类错误确实存在。
Artificial Analysis改版了其Intelligence Index，发布第 5 版。据The Decoder报道，这次改版使Kimi K3.1 Pro的排名下降 5 位：该模型最初排在第 4 名，改版后降至第 9 名，排在 8 个闭源模型之后。
该机构称，按新指数，开源模型与榜首的差距为 12 分，改版前为 3 分。Grok 4.7的分数也下降了 12 分。
60% 评测转向私有测试集
据The Decoder报道，第 5 版Intelligence Index首次让 60% 的评测依赖私有测试集，目的是防止“benchmaxxing”，即针对已知测试题专门训练模型。
报道指出，Kimi K3.1 Pro的排名下滑说明旧指数可能让部分模型显得比实际更强。这一判断来自The Decoder对改版结果的分析，并非该机构公布的逐项对比数据。
- 第 5 版中约 60% 的评测使用私有测试集。
- Kimi K3.1 Pro从第 4 名降至第 9 名。
- Grok 4.7分数下降 12 分。
- 开源与榜首差距由 3 分变为 12 分（该机构说法）。
研究者：benchmaxxing只是一部分原因
AI研究员Nathan Lambert认为，benchmaxxing只能解释部分现象。据The Decoder引述，当前许多训练收益发生在强化学习环境中，这些环境里的任务与基准任务相似；要在多个领域同时保持水平，需要复杂的强化学习基础设施，并非每个实验室都具备。
这一解释把排名变化部分归因于训练方式与评测方式的重叠，以及实验室之间RL基础设施的差异。报道没有给出各实验室基础设施对比的一手数据。
私有测试集的代价
报道指出，闭源测试集有缺点：外部人员无法再检查提示词中的错误。该机构在AA-Omniscience知识测试中不得不修正含义模糊和有缺陷的题目，说明这类错误确实存在。
这意味着新指数在降低针对性训练空间的同时，也减少了外部对评测题目质量的核查能力。报道未说明修正题目的具体数量或对分数的影响。