产品量子位·原文 2026年11月4日

openJiuwen AgentMemory上线OmniMem-Lens:按事件切分长视频记忆,问答时延最高降97%

量子位刊文称,openJiuwen在AgentMemory 0.2.0中上线多模态记忆能力OmniMem-Lens,通过视觉与语音双流定位事件边界,并在离线阶段分层整理记忆。团队公布的评测显示,召回精度最高提升45.7%,在线问答时延最高降低97%。

AI解读:OmniMem-Lens的核心做法是用视觉画面变化和ASR语音转录两条线索交叉判断事件边界,替代按固定时间窗口切分视频的记忆方式;该能力已在openJiuwen AgentMemory 0.2.0版本上线。

按量子位文章引述的团队说法,该能力在三个长视频问答评测集上与直接使用Qwen3-VL-8B处理视频问答对比:Video-MME-L提升8%,LVbench提升6.4%,EgoLife-QA提升45.7%;时延方面LVbench上由34.5秒降至1.72秒。

这些数字来自团队自行选取的评测集和单一模型对照,文章未给出第三方复现或其他模型、其他视频类型下的表现,因此只支持上述评测范围内的结论。

量子位11月4日发布的文章称,openJiuwen在openJiuwen AgentMemory 0.2.0版本中上线多模态记忆能力OmniMem-Lens,用于让智能体在处理长视频时按真实事件切分和存储记忆,而非按固定时间窗口切分。

针对固定切分的问题

文章将现有做法描述为把长视频按固定时间窗口(如每分钟一段)切分后分别交给智能体记忆。文章称这会造成两类问题:连贯事件被窗口边界切断,证据碎片化;关键片段与大量无关画面打包,检索时被噪音淹没。

OmniMem-Lens的替代方案是视觉与听觉双流联动:视觉流在画面切换时标记变化,ASR语音流在画面未动但话题转换时识别边界,两路证据交叉确定事件切分点。文章举两例说明:一段动画片中横跨三个切分窗口的情节,被合并为一个完整事件存储;一场画面静止40分钟的产品评审会,靠语音识别出三个不同议题并分别成段。

三层记忆与离线建库

OmniMem-Lens在后台建立三层记忆单元,文章以书作比:顶层用于定位大致章节,中层定位具体内容,底层保留原始视频帧供细节核对。文章称L1与L2记忆单元已文本化与向量化,可接入主流向量数据库,已有RAG/Agent技术栈的开发者改造量较小。

记忆整理工作在离线阶段完成。用户提问时,系统先将问题与L1、L2记忆单元做语义匹配,仅在需要视觉细节验证时才调取L0层的视频帧。文章称这一“文本索引加延迟调取原始视频”的链路是时延下降的原因。

团队公布的评测数据

文章给出团队选取三个长视频问答评测集的对比结果,对照对象为直接使用Qwen3-VL-8B处理视频内容问答。

文章还称WorkSwarm即将支持对接openJiuwen AgentMemory,用于记住日常对话中的视频内容。项目地址为gitcode.com/openJiuwen/agent-memory。

  • 召回精度:Video-MME-L提升8%,LVbench提升6.4%,EgoLife-QA提升45.7%。
  • 在线问答时延:LVbench上Qwen3-VL-8B直答为34.5秒,OmniMem-Lens为1.72秒;文章称时延最高降低97%。
  • 上述数据均由团队在自选评测集上测得,文章未披露第三方复现结果。

信息来源

量子位原始来源