开源llama.cpp Releases·原文 2026年10月27日

llama.cpp发布b11909:优化Hexagon后端MUL_MAT_ID跳行处理

llama.cpp发布构建b11909,本次提交针对Hexagon NPU的MUL_MAT_ID算子做跳行优化,包括对跳过行的清零向量化、在融合MM_ID_NX路径中加入清零,并移除标量除法。

AI解读:这次更新处理的是Hexagon(高通NPU)后端里的MUL_MAT_ID算子:当部分行被跳过时,如何清零这些行、避免标量除法,是该补丁的两项改动。

改动只涉及MUL_MAT_ID的跳行路径,来源没有给出速度提升数字,因此无法据此判断对实际推理吞吐的影响幅度。

受影响的构建物是标注Snapdragon的Linux arm64与Android arm64包,其中包含CPU、Adreno GPU与Hexagon NPU后端。

发布页同时提供macOS、iOS、Ubuntu、Windows等多平台二进制,但这些平台的更新内容本次未单独说明。

llama.cpp发布版本b11909,提交信息为Hexagon后端MUL_MAT_ID的跳行优化与改进(PR #31169)。

据提交说明,改动包括:对跳过行的清零做向量化;在融合的MM_ID_NX路径中加入清零;移除标量除法。

改动范围与相关构建

该提交只描述Hexagon后端MUL_MAT_ID的跳行处理,未提供性能数据或与其他后端的对比。

发布页列出的Snapdragon专用包为Linux arm64(CPU、Adreno GPU、Hexagon NPU)和Android arm64(CPU、Adreno GPU、Hexagon NPU),并附有对应setup guide链接。

  • 提交标题:hexagon: MUL_MAT_ID row skipping optimizations and improvements (#31169)
  • 三项具体改动:跳过行清零向量化、融合MM_ID_NX路径加清零、移除标量除法
  • Snapdragon专用构建:Linux arm64与Android arm64各一个压缩包

信息来源

llama.cpp Releases原始来源