开源llama.cpp Releases·原文 2026年10月13日

llama.cpp发布b11582,为ggml-zdnn加入Q8_0矩阵乘法原型

该版本由Aaron Teo提交,在ggml-zdnn后端中引入Q8_0量化的矩阵乘法初始原型,并同步更新zdnn文档。同时发布macOS、Linux、Windows、Android等多平台预编译包。

AI解读:该变更由Aaron Teo签署并提交,仓库同时更新了zdnn相关文档。

发布页面列出了macOS、Linux、Windows、Android等平台的预编译构建包,覆盖CPU、Vulkan、CUDA、ROCm、SYCL、OpenCL等后端。

文件未给出Q8_0矩阵乘法的性能数据、精度对比或适用硬件型号,因此无法判断其实际加速幅度。

llama.cpp发布b11582版本,主要变更为在ggml-zdnn后端中引入Q8_0矩阵乘法的初始原型。

该提交由Aaron Teo编写并签署,作者同时更新了zdnn相关文档。

本次变更内容

提交信息显示,该PR标题为“ggml-zdnn : introduce Q8_0 mat mul (#29836)”,其中第一条提交是对q8_0矩阵乘法的初始原型,第二条提交更新zdnn文档。作者为Aaron Teo。

  • 变更模块:ggml-zdnn后端。
  • 新增算子:Q8_0矩阵乘法,状态为初始原型。
  • 附带更新:zdnn文档。
  • 提交者:Aaron Teo。

同步发布的构建包

发布页面列出了b11582的多平台预编译产物,涉及macOS、iOS、Linux、Android、Windows和openEuler。

  • macOS:Apple Silicon(arm64)与Intel(x64),另有iOS XCFramework;arm64的KleidiAI版本标注为DISABLED。
  • Linux:Ubuntu x64与arm64的CPU包、s390x CPU包、Vulkan包、CUDA 12.8与CUDA 13.4包、ROCm 10.0包、OpenVINO 2026.4.1包、SYCL FP32/FP16包,以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)包。
  • Android:arm64 CPU包,以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)包。
  • Windows:x64与arm64 CPU包、arm64 OpenCL Adreno包、CUDA 12.4与CUDA 13.4包、Vulkan包、OpenVINO 2026.4.1包、SYCL包、ROCm 10.0包。
  • openEuler:x86(310p、910b ACL Graph)与aarch64(310p、910b ACL Graph)标注为DISABLED。
  • 另有UI包。

适用范围的边界

发布说明未提及Q8_0矩阵乘法在zdnn后端上的性能数据、精度影响或支持的硬件型号。该改动被作者标注为“初始原型”,因此当前版本是否默认启用、是否覆盖所有zdnn路径,来源中没有说明。

  • 没有公开的吞吐量、延迟或精度对比数据。
  • 没有说明该实现支持哪些具体芯片或驱动版本。
  • 没有说明该原型是否影响其他后端或默认构建配置。

信息来源

llama.cpp Releases原始来源