该公司称，这是记忆原生模型首次完成近 300B参数规模的工程验证；模型在选定的Transformer模块中加入与注意力并行的记忆分支，以可训练的动态矩阵状态保存、更新和读取经验。
记忆张量开源发布MemT 1.0系列记忆原生模型，含Nano（36B参数、激活 3B）与Flash（288B参数、激活 17B）两个型号。据量子位报道，这是记忆原生模型首次完成近 300B参数规模的工程验证。
两个型号与基座
MemT-1.0-Nano总参数 36B、激活 3B，基座为Qwen3.6-35B-A3B；MemT-1.0-Flash总参数 288B、激活 17B，基座为经过进一步后训练的DeepSeek-V4-Flash。
- Nano：36B总参数，激活 3B，基座Qwen3.6-35B-A3B
- Flash：288B总参数，激活 17B，基座DeepSeek-V4-Flash
- 论文地址：arxiv.org/abs/2610.26825
记忆怎么被放进模型
MemT 1.0保留基座原有计算流程，在选定的Transformer模块中加入与注意力并行的记忆分支，分三层：主干权重承载基座已有能力，训练记忆时保持冻结；超记忆是可训练的读写投影与门控参数；局部记忆是以动态矩阵状态保存交互中新加入的信息。
写入时，隐状态经投影生成记忆的键值，由擦除、写入和遗忘门控调节已有矩阵关联；读取时，当前输入被映射为记忆查询，读出结果经归一化和输出门控，与注意力输出融合。更新基于Gated DeltaNet-2逐Token生成并做稳定化处理，每轮结束后触发一次。团队还基于MoE提出MoS（Mixture-of-Storage），把记忆原生模块扩展为多个记忆专家，采用稠密融合，所有专家都参与计算、由路由权重决定贡献，与基座MoE的稀疏路由不同。
训练语料共 340 亿Token，其中继续预训练 200 亿、后训练 140 亿；后训练数据含记忆原生语言建模、记忆存储与利用（摘要、续写、压缩等）以及强化长程记忆的任务数据。冻结的主干充当教师，MemT 1.0作为学生只看到自己的记忆状态，通过off-policy蒸馏对齐教师分布。
- 消融：把逐Token更新换成整轮聚合，Nano的记忆基准平均分从约 47.0 降到 41.0
效果与代价的边界
来源给出的SWE-bench Verified实验覆盖 500 项任务、每项独立运行三次：Nano关键断点平均成功率 69.73%，无经验基线 66.07%，文本经验组 69.13%；三次全部成功的任务比例从无经验的 54.00% 提高到 62.80%，文本经验组 61.80%。SWE-bench Multilingual同一触发设置下，原生记忆组 63.56%，无经验组 60.00%，文本经验组 63.00%。来源据此称原生记忆表现与显式文本经验接近，优势主要体现在平均成功率和重复执行的可靠性上。
11 项记忆基准中，Flash与Nano平均分为 50.6 和 47.0，来源称二者在参与评估的参数化记忆方法中位列前两名。稿件同时承认，文本记忆系统在长历史细节召回上整体仍有优势，并指出记忆原生若要精确删除、解释与恢复，需要额外机制加入。
成本方面，来源称在 128K长历史下，Nano端到端推理速度约为完整上下文方案的 1.86 倍，每条轨迹的持久状态占用是完整上下文KV Cache的六十六分之一。上述数字均来自该团队及来源稿件的实验，未经独立验证。
- 来源承认原生记忆与外部记忆各有权衡，对精确原文、来源或版本的查询，外部记录仍有价值
- 跨出当前训练分布、在更长交互和新任务中能否保持收益，来源列为下一步验证内容
RSI三块拼图中的记忆
来源将RSI拆为记忆、反馈、验证与更新机制三块，认为MemT 1.0探索的是经验承接与复用这一步，即从模型层补上记忆这一块。团队还提出Memory Scaling，即把经验的内部表示与读写方式本身作为可通过训练和架构设计调整的变量。稿件同时指出，这尚不能证明原生记忆的长期上限高于外部记忆。
- 代码与权重：GitHub MemTensor/MemT-1.0，HuggingFace同名合集