Ai2发布StateBench：测评语言模型长文档状态追踪能力

四档难度与测试方式

StateBench的四档难度对应不同类型的变量赋值操作：值不可变（变量值从不改变）、按值重新赋值（找最近一次赋值）、自引用更新（每次更新基于当前值，如x = x + 5）、按引用赋值（一个变量取另一变量的当前值，如x = y或交换两个变量）。作者称这一划分参考Krohn–Rhodes理论。

为公平比较四档，作者从同一段一般有限赋值序列派生出三个更简单的版本，四份题目使用相同数量的变量和不同值，赋值出现位置也相同，仅赋值类型不同。

• 值不可变：如let x = 4，或人的出生日期
• 按值重新赋值：如先x = 4 后x = 2，或恒温器的最近设定
• 自引用更新：如x = x + 5，或游戏累计得分
• 按引用赋值：如x = y、交换变量，或魔术师在五个杯子间反复换位置

预训练模型与前沿模型的结果

作者先测试开放预训练模型，包括 70 亿参数的Olmo 3（Transformer）和Olmo Hybrid（加入Gated DeltaNet层），以及 2.75 亿和 27 亿参数的较小模型。这些模型预训练数据相同，训练时上下文未超过 64,000 token，多数测试输入远超该长度。

作者称，几乎所有模型在值不可变问题上表现良好，随输入变长在按值重新赋值问题上掉准确率，在一般有限问题上停留在随机水平。问题格式也有影响：2.75 亿参数的混合模型和Gated DeltaNet在RULER风格的值不可变问题上接近满分，在同样问题以电子表格编辑形式呈现时接近随机。

随后作者测试Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol和GPT-6 Luna四个前沿模型，要求它们读取赋值序列并输出每个变量的最终值。作者称四者在值不可变和按值重新赋值问题上表现良好，但在自引用更新和一般有限问题上随输入变长准确率骤降，最长的一般有限问题降至 13% 或以下。

• 预训练模型训练上下文上限：64,000 token
• 前沿模型在最长一般有限问题上准确率：13% 或以下（作者数据）
• 四个前沿模型：Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna

直接在任务上训练的架构差异

作者进一步从零训练多个 2.75 亿参数模型，包括两个Transformer变体、两个混合模型和两个记忆更新约束不同的Gated DeltaNet变体。训练序列最长 256 次赋值，测试最长 64,000 次赋值，是训练长度的 250 倍。

作者称，随序列变长，架构开始分化：Gated DeltaNet和混合模型在值不可变、按值重新赋值、自引用更新三档上几乎完美泛化，测试到数万次赋值的最长序列；Transformer学会了较易级别，但在更长序列上退化，且始终未学会一般有限问题。在最难一档，记忆更新更灵活的Gated DeltaNet变体泛化最远，在约 10 倍于其训练最长序列时仍接近完美。

作者据此认为，对Gated DeltaNet和混合模型而言，预训练模型与直接训练之间的差距指向训练而非架构；Transformer则不同，即使直接训练也未能学会最难一档。

• 直接训练模型规模：2.75 亿参数
• 训练最长序列：256 次赋值
• 测试最长序列：64,000 次赋值（250 倍）
• 最灵活Gated DeltaNet变体在约 10 倍训练长度时仍接近完美（作者结果）

已说明的局限

作者表示仍有开放问题。论文新证明显示，在固定精度算术与舍入条件下，记忆更新受限（非负特征值）的Gated DeltaNet能解决所有非周期任务和某些周期任务，例如追踪某输入出现次数是奇数还是偶数；但它在层级中的确切位置仍开放，包括能否解决所有自引用更新任务，以及数值精度或与注意力层结合会如何影响其能力。

StateBench本身假设变量数固定，而真实任务常随时间引入新实体，例如长对话中出现新的人物和物品，模型需要开始追踪它们，当前框架尚未覆盖这一情形。

• 未覆盖：变量数固定、未测试新增实体
• 未确定：非负特征值Gated DeltaNet的完整能力边界
• 未确定：数值精度、与注意力层结合的影响