Artificial Analysis发布决策指数v2：私有数据集占比升至 45%，新增置信度校准评分
Artificial Analysis推出Decision Index v2，采用同时奖励答案正确与置信度校准的Decision Score，并将私有数据集占比从v1的 25% 提高到 45%。榜单上Nace AI的Drex Max v1.1以 73 分领先决策模型，与Fastino Labs的GLiDE v1.2相差不到 1 分。
Artificial Analysis发布Artificial Analysis Decision Index v2，称新版评估旨在更贴近实际用途并降低基准被针对优化的风险，指数中私有数据集的占比从v1的 25% 提高到 45%。
新版采用Decision Score作为头条指标，同时奖励答案正确和置信度校准。Artificial Analysis表示，决策模型的答案通常在置信度超过阈值时才被采用，否则会转交人工或更强的模型，因此该分数衡量的是所有阈值下的平均收益，不依赖单一截断点。
按该机构公布的结果，Nace AI的Drex Max v1.1以 73 分在决策模型中领先，Fastino Labs的GLiDE v1.2同为 73 分，Base Labs的Mammoth 27B为 72 分，三者差距在 1 分以内。
Decision Score如何计分
Artificial Analysis给出的单题公式为 50 × (1 + c − (p − c)²)，其中p是模型赋予所选答案的概率，c表示答案是否正确（正确为 1，错误为 0）。对整套评估而言，该式等于 50 × (1 + 正确率 − Brier分数)。
该机构称，纳入置信度会改变总榜排名。在AA-Paperclip上，按原始正确率，Clef通过 36% 的文档，Celeris-1.1 Decision通过 24%，但Celeris-1.1 Decision凭更好的校准（Brier分数 0.15，Clef为 0.27）在Decision Score上追平Clef。
新增与调整的基准构成
AA-Paperclip占指数 30%，是含 1500 份文档的私有基准，文档类型包括简历、收据、发票以及AI和机器学习研究论文。每份文档有五个决策和十项事实提取，模型须全部答对 15 题才算通过该文档；其置信度取 15 个答案概率的乘积。
AA-Symmetry占 15%，测试模型对等价问题的答案是否稳定。该基准含 120 道基础题、共 440 个变体，变化方式包括重排选项、交换标签和否定式是非题，测量所选答案及其概率在变体间的一致性。
AA-Omniscience-Decision v1.1和HLE-MultiChoice v1.1各占 15%，权重从 25% 下调；前者将“我不知道”选项改写为十种表述，后者增加同样十种表述的拒答选项。Artificial Analysis还加入占 15% 的EvalSafe-O*NET-AA，即其对TypeSafe AI的O*NET基准的实现；NVIDIA的When2Call权重从 25% 降至 10% 并保留，WildGuardTest因饱和度较高被移除。
榜单、成本与时延的具体数字
成本方面，Artificial Analysis称决策模型每百万任务成本从Celeris-1.1 Decision的 14 美元到Clef的 859 美元不等。Celeris-1.1 Decision、Decider v1.2和Drex Max v1.1位于Decision Index与成本的帕累托前沿；GPT-6 Luna (Max) 的 1530 美元和Claude Haiku 5.5 (Max) 的 6240 美元在更高分数处延伸该前沿。
该机构指出，token单价不是唯一成本因素。GLiDE v1.2和Decider Flash v1.2对每个问题单独处理并重复计费输入，一个AA-Paperclip任务约消耗 63k输入token，而Drex Max v1.1约 9k；因此GLiDE v1.2每百万任务成本 780 美元，尽管其列表价格只比Drex Max v1.1高 33%，成本却接近后者的 8 倍。Decider Flash v1.2成本 196 美元，约为Decider v1.2的 3 倍，而其token单价只有后者的一半。
时延方面，Celeris-1.1 Decision每任务 56 毫秒最低，Elephant 9B为 70 毫秒，Jev 1.14为 92 毫秒；Claude Haiku 5.5 (Max) 为每任务 32.65 秒。Artificial Analysis称，Mammoth 27B在Decision Index上与GPT-6 Luna (Max) 相差 4 分以内，速度则快 118 倍。
- 决策模型前三：Drex Max v1.1 73分、GLiDE v1.2 73分、Mammoth 27B 72分（Artificial Analysis数据）
- 每百万任务成本区间：14 美元（Celeris-1.1 Decision）至 859 美元（Clef）
- 语言模型对照：Claude Haiku 5.5 (Max) 77 分、GPT-6 Luna (Max) 76 分，分别比Drex Max v1.1高约 3 分
- AA-Paperclip全对文档比例：Claude Haiku 5.5 (Max) 92%、GPT-6 Luna (Max) 86%、Drex Max v1.1 63%、GLiDE v1.2 62%
AA-Symmetry与AA-Paperclip的边界
AA-Symmetry上，Baseten的模型领先，Artificial Analysis称原因之一是较高的弃答率：模型在不同变体下都高置信度地承认不知道答案，从而获得较高一致性分数。Mammoth 27B得 96 分、Elephant 9B得 93 分；Mammoth 27B在 99% 的问题上跨变体选择同一答案，Drex Max v1.1为 91%、GLiDE v1.2为 88%、Clef为 67%。
AA-Paperclip的全对要求会放大单题差异。Artificial Analysis称，Drex Max v1.1的单题正确率为 97%，接近Claude Haiku 5.5 (Max) 的 99%，但全对文档比例为 63% 对 92%；Drex Max v1.1五个决策全对的文档占 71%，十项提取全对的占 88%，说明其失分更多来自决策环节。
以上分数、成本与时延均为Artificial Analysis自行发布的评估结果，属该机构的方法与主张，来源未提供第三方复核数据。