开源llama.cpp Releases·原文 2026年10月20日

llama.cpp b11741为OpenCL后端新增cooperative-k dp4a GEMM,覆盖q4_0、q4_k和q6_k

该版本发布说明列出三项OpenCL矩阵乘实现改动,并附带一项对齐修复;发布页未给出性能数据。

AI解读:这条解读针对已在或计划在OpenCL设备上运行q4_0、q4_k、q6_k量化模型的人:本次新增的是这三类量化格式的cooperative-k dp4a GEMM实现,其他量化格式不在发布说明列出的范围内。

发布说明只记录代码改动与版本号,没有给出吞吐、延迟或与既有实现的对比数据,因此无法据此判断实际加速幅度,也无法判断在具体GPU上的效果。

该改动随b11741构建一同发布,发布页同时提供macOS、Linux、Windows、Android等多平台二进制包,其中包含Windows arm64的OpenCL Adreno包;下载这些构建即可获得本次改动,无需自行编译。

llama.cpp发布构建b11741,发布说明中的主要改动为:在OpenCL后端为q4_0、q4_k和q6_k三种量化格式新增cooperative-k dp4a GEMM(PR #30741)。

同一PR还包含一项对齐(alignment)修复。发布说明未提供该改动的性能测试结果或前后对比数据。

改动内容与覆盖范围

发布说明按提交拆分列出三项实现:q4_0的cooperative-k dp4a GEMM、q4_k的cooperative-k dp4a GEMM、q6_k的cooperative-k dp4a GEMM,随后是opencl对齐修复。

从标题与条目看,改动位于OpenCL后端,涉及GEMM(通用矩阵乘法)路径,并使用dp4a指令;发布说明未说明支持哪些具体GPU型号或驱动版本。

  • PR编号:#30741
  • 新增实现覆盖的量化格式:q4_0、q4_k、q6_k
  • 附带修复:OpenCL对齐问题
  • 发布说明未列出性能数据或兼容设备清单

发布产物

b11741发布页列出多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm、OpenCL Adreno arm64)、Android arm64以及Snapdragon专用包。

发布页中macOS Apple Silicon的KleidiAI构建和openEuler相关构建标注为DISABLED,未随该版本提供。

  • Windows arm64提供OpenCL Adreno预编译包
  • macOS KleidiAI构建与openEuler构建在该版本中处于禁用状态
  • 发布页同时提供UI包

信息来源

llama.cpp Releases原始来源