llama.cpp发布b11515:SYCL后端加入Q5_K重排布局MMVQ与融合GLU
该版本的主要代码变更是为SYCL后端实现Q5_K量化格式的重排布局矩阵乘向量(MMVQ)与融合GLU算子,发布页同时列出macOS、Linux、Windows、Android等平台的预编译包。
AI解读:变更范围限于SYCL后端,属于Q5_K量化格式下的算子实现调整,发布页未给出性能数字或与其他后端的对比数据。
发布页列出的构建产物覆盖macOS/iOS(含Apple Silicon与Intel)、Linux(Ubuntu x64/arm64/s390x,含Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Windows、Android与openEuler。
其中macOS Apple Silicon的KleidiAI版本与openEuler构建标注为DISABLED,链接到对应的关闭或禁用PR(#23780、#23705)。
发布页未说明SYCL改动的适用硬件型号、驱动版本要求或启动方式,也没有公开基准测试结果,因此无法从该来源判断实际加速幅度。
llama.cpp发布b11515版本,发布说明中记录的功能性代码变更为一条SYCL后端提交,标题为“Q5_K reorder-layout MMVQ and fused GLU”,对应PR #29375。
该提交针对SYCL后端在Q5_K量化格式下实现重排布局的矩阵乘向量(MMVQ)以及融合GLU算子。发布说明未提供性能数据、适用硬件清单或与其它后端的对比结果。
本次变更内容与范围
b11515的唯一功能变更条目为sycl后端的Q5_K reorder-layout MMVQ与fused GLU(#29375)。从标题看,改动同时涉及Q5_K量化格式的重排布局和GLU算子的融合,均位于SYCL后端范围内。
发布说明没有展开具体实现细节,例如使用了哪些SYCL特性、是否影响FP32与FP16两种SYCL构建、以及是否需要特定Intel GPU或驱动版本。
- 变更:SYCL后端Q5_K reorder-layout MMVQ与fused GLU
- 关联PR:#29375
- 未给出:性能数字、适用硬件、驱动要求
平台构建产物
发布页列出了各平台的预编译包。macOS/iOS侧提供Apple Silicon(arm64)、Intel(x64)以及iOS XCFramework;其中“macOS Apple Silicon (arm64, KleidiAI enabled)”标注为DISABLED,并链接到PR #23780。
Linux侧提供Ubuntu x64、arm64、s390x的CPU构建,以及x64/arm64的Vulkan、x64的CUDA 12(含 12.8 库)与CUDA 13(含 13.4 库)、x64的ROCm 10.0、x64的OpenVINO、x64的SYCL FP32与FP16构建;另有Linux arm64的Snapdragon包(CPU、Adreno GPU、Hexagon NPU),附有安装指南。
Windows侧提供x64/arm64的CPU构建、arm64的OpenCL Adreno、x64与arm64的CUDA 12.4/13.4(含DLL)、Vulkan、x64的OpenVINO与SYCL、x64的ROCm 10.0。Android提供arm64的CPU与Snapdragon包。openEuler构建整体标注为DISABLED,并链接到PR #23705,涉及x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)。此外还提供独立的UI包。
- SYCL相关产物:Ubuntu x64(SYCL FP32/FP16)、Windows x64(SYCL)
- 禁用项:macOS Apple Silicon(KleidiAI)、全部openEuler构建
- 禁用项分别指向PR #23780 与PR #23705