llama.cpp b11558修复OpenCL下Q4_K权重图像超限等问题
该版本针对OpenCL后端提交三项修复:Q4_K权重图像超过设备限制时回退、rms_norm避免不完整子组、修正q4_0广播并细化dense bin kernel启用条件,由Hongqiang Wang共同署名。
AI解读:llama.cpp发布b11558版本,提交标题为opencl: fix image limit for q4_k dense bin kernels, q4_0 bcast and rms_norm(#30310),改动集中在OpenCL后端。
第一项改动是当Q4_K权重图像超过设备限制时进行回退;第二项是避免rms_norm出现不完整子组;第三项是细化dense bin kernel的启用条件,并修正q4_0的广播。
提交由Hongqiang Wang共同署名(Co-authored-by)。
版本同时提供macOS、iOS、Linux、Android、Windows等多平台预编译包,涵盖CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL等后端;openEuler构建与macOS上启用KleidiAI的构建标注为DISABLED。
llama.cpp发布b11558,提交 #30310 为OpenCL后端带来三项修复。
提交说明列出:Q4_K权重图像超过设备限制时回退;rms_norm避免不完整子组;细化dense bin kernel的条件并修正q4_0广播。Hongqiang Wang为共同署名者。
提交 #30310 的三项OpenCL改动
llama.cpp b11558的提交标题为“opencl: fix image limit for q4_k dense bin kernels, q4_0 bcast and rms_norm (#30310)”。提交说明以三条要点描述改动,并标注Hongqiang Wang为Co-authored-by。
- opencl: fallback when Q4_K weight images exceed device limits——当Q4_K权重图像超过设备限制时回退。
- opencl: avoid incomplete subgroup in rms_norm——在rms_norm中避免不完整子组。
- opencl: refine conditions for dense bin kernels and fix bcast for q4_0——细化dense bin kernel的启用条件,并修正q4_0的广播。
随版本发布的构建包
b11558发布页列出各平台预编译产物。macOS/iOS提供Apple Silicon(arm64)、Intel(x64)和iOS XCFramework;其中标注KleidiAI enabled的macOS Apple Silicon构建为DISABLED。
- Linux:Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12.8、CUDA 13.4(x64与arm64)、ROCm 10.0、OpenVINO、SYCL FP32/FP16构建,并附CUDA运行库包。
- Android:arm64 CPU与Snapdragon(CPU、Adreno GPU、Hexagon NPU)构建,另附设置指南。
- Windows:CPU x64/arm64、OpenCL Adreno arm64、CUDA 12.4/13.4(x64、arm64)及对应DLL、Vulkan、OpenVINO、SYCL、ROCm 10.0构建。
- openEuler:x86 310p/910b(ACL Graph)与aarch64 310p/910b(ACL Graph)均标注DISABLED。
- 另有独立的UI打包文件。