开源llama.cpp Releases·原文 2026年10月12日

llama.cpp发布b11564:Vulkan后端用三元表达式规避CM2量化块大小的switch降低

llama.cpp的b11564版本包含一项针对Vulkan后端的改动,将CM2矩阵乘法的量化块大小处理从switch改为三元表达式;该版本同时提供多平台预编译包。

AI解读:该PR的描述中包含三个提交记录:专门化CM2 matmul的量化块大小、使用三元表达式避免switch lowering,以及澄清CM2量化块大小的注释。

来源未提供这一改动的性能或正确性测试数据,也没有说明它影响哪些模型、量化格式或Vulkan设备,因此无法判断实际效果边界。

b11564同时提供macOS/iOS、Linux、Android、Windows等平台的预编译包,其中多个平台包含Vulkan版本;openEuler与macOS KleidiAI版本标注为DISABLED。

llama.cpp发布b11564版本。该版本包含一项Vulkan后端改动(PR #30164),为CM2矩阵乘法专门处理量化块大小,并用三元表达式避免switch语句被降低。

该PR的提交记录显示三步改动:专门化CM2 matmul的量化块大小、改用三元表达式避免switch lowering、澄清CM2量化块大小的注释。

随版本发布的还有多个平台的预编译包,覆盖macOS/iOS、Linux、Android和Windows,其中Linux与Windows的Vulkan构建在列。

Vulkan后端的CM2量化块大小改动

PR #30164 的标题为“vulkan: use ternary expressions to avoid switch lowering for CM2 quant block size”。其提交记录依次为:专门化CM2 matmul的量化块大小、使用三元表达式避免switch lowering、澄清CM2量化块大小的注释。

来源没有说明该改动带来的具体性能变化或对哪些量化格式、模型或Vulkan设备生效。

  • PR编号:#30164。
  • 改动内容:CM2矩阵乘法的量化块大小处理由switch改为三元表达式。
  • 提交记录:专门化量化块大小、避免switch lowering、澄清注释。

b11564提供的预编译包

b11564发布了覆盖多个平台与后端的预编译包。Linux方面包括Ubuntu x64/arm64(CPU)、Ubuntu s390x(CPU)、Ubuntu x64/arm64(Vulkan)、Ubuntu x64(CUDA 12)、Ubuntu x64(CUDA 13)、Ubuntu arm64(CUDA 13)、Ubuntu x64(ROCm 10.0)、Ubuntu x64(OpenVINO)、Ubuntu x64(SYCL FP32/FP16)以及Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)。

Windows方面包括x64/arm64(CPU)、arm64(OpenCL Adreno)、x64(CUDA 12)、x64/arm64(CUDA 13)、x64/arm64(Vulkan)、x64(OpenVINO)、x64(SYCL)和x64(ROCm 10.0)。

macOS/iOS方面提供Apple Silicon(arm64)、Intel(x64)和iOS XCFramework;Android提供arm64(CPU)与arm64(Snapdragon)。

  • macOS Apple Silicon的KleidiAI版本标注为DISABLED,对应的PR为 #23780。
  • openEuler构建标注为DISABLED,对应的PR为 #23705。

信息来源

llama.cpp Releases原始来源