字节Seed发现DeepSeek-V4存在周期性相位敏感：同题换位准确率差40.2个百分点

同一道题，多两个Token答案就变了

研究人员从DeepSeek-V4官方推理代码中截取一段FP8量化函数，让DeepSeek-V4-Flash-Base补全最后一个Token。正确答案应为8，但模型有时会回答32。

在代码前加入由重复等号构成的装饰性文档字符串并调整长度后，模型答案开始反复横跳：在测试的16种填充长度中，长度模4余数为0或1时倾向错误答案32，余数为2或3时倾向正确答案8。

研究人员统计了两个候选答案的概率：在一组位置上，错误答案32的平均概率达71.3%，正确答案8为26.4%；换到另一组位置，正确答案8的平均概率升至91.5%，错误答案32降至7.2%。

• 测试对象：DeepSeek-V4-Flash-Base
• 任务：补全FP8量化函数最后一个Token
• 正确答案：8；模型有时答32
• 波动周期：4个Token

128K检索测试：最大差距40.2个百分点

团队进一步构造约128K Token的上下文，包含约1.6万个键值对，让模型根据指定Key检索Value。键值关系、问题和上下文总长度保持不变，只调整目标信息相对于压缩窗口边界的位置。

结果显示，DeepSeek-V4系列的准确率曲线呈明显周期性起伏。DeepSeek-V4-Flash-Base不同位置间最大准确率差距为40.2个百分点，DeepSeek-V4-Pro-Base为34.8个百分点。

经过后训练，差距有所缩小：DeepSeek-V4-Flash-0731为19.1个百分点，DeepSeek-V4-Pro-0813为14.8个百分点，更新的DeepSeek-V4.1-Flash-0910降至6.1个百分点。报道称周期性差异依然存在。

研究人员还发现，DeepSeek-V4的波动周期是4个Token，DeepSeek-V4.1变为2个Token，恰好对应两代模型各自采用的KV Cache压缩步长。

• 上下文长度：约128K Token，约1.6万个键值对
• Flash-Base最大差距：40.2个百分点
• Pro-Base最大差距：34.8个百分点
• V4.1-Flash-0910最大差距：6.1个百分点

原因指向分块KV Cache压缩

大模型处理长上下文时需要保存历史Token的Key和Value供注意力计算使用，上下文越长，KV Cache内存和计算开销越大。DeepSeek-V4采用分块KV Cache压缩，把连续Token分成窗口，再将窗口内信息压缩成更少的缓存条目。

论文将信息相对于压缩窗口边界的位置称为Phase（相位）。研究人员发现，模型对不同相位信息的检索能力存在系统性差异，即使Key和Value都落在同一压缩窗口内，不同位置的检索准确率也能相差很大。

为验证因果关系，团队以Qwen3-0.6B架构为基础从头训练多种KV Cache压缩方案，并设置无分块压缩的全注意力模型作对照。所有接受测试的分块压缩模型都出现与压缩步长对应的周期性变化，全注意力基线没有同等程度的现象。

调整窗口大小和压缩步长后，周期主要跟随压缩步长变化：步长4对应约4个Token周期，步长6对应约6个，步长8同样如此。报道称，不使用RoPE位置编码、或将可学习压缩权重换成简单平均，这种现象依然存在。

• 压缩步长4→周期约4个Token；步长6→约6个；步长8→约8个
• 全注意力基线：未出现同等程度周期波动
• 更换位置编码或压缩权重：现象仍存在

相位专门化与评测建议

团队对注意力头进行干预后发现，不同注意力头对不同相位的贡献不同，有些头更擅长处理某些位置的信息。研究人员将其称为相位专门化（Phase Specialization）。

论文还通过简化理论模型分析训练过程，认为梯度流可能推动压缩模块形成稳定的位置偏好，因此周期性并非简单随机噪声。

Seed团队提出，评估采用分块KV Cache压缩的模型时，不能只看整体检索准确率，还需将同一条信息放到不同压缩相位分别测试；常规评测把大量结果汇总为平均分，可能掩盖位置间的性能差异。

报道同时指出，长上下文推理的内存和计算成本仍然存在，压缩有现实价值；从实验结果看，后训练和架构迭代能明显缩小这种差距。论文地址为arxiv.org/pdf/2609.36322。