llama.cpp b11636为SYCL后端加入IQ3权重持久重排,Intel Arc上token生成最高提升 82%
该版本在SYCL后端为IQ3_S与IQ3_XXS量化权重加入加载时持久重排,避免了推理时从交错布局中逐位收集;发布说明给出的Intel Arc Pro B70实测显示,token生成速度随上下文长度提升 53% 至 82%,而标准量化模型变化在噪声范围内。
llama.cpp发布b11636版本,其中SYCL后端合并了PR #29107,为IQ3_S和IQ3_XXS量化权重加入持久重排布局。
发布说明称,权重在加载时重排一次,重排后的MMVQ点积沿稠密超块使用dp4a与SWAR符号扩展,不再从交错的标准布局中收集比特;重排感知的反量化同时供给批量prefill的GEMM,使提示处理路径获得相同收益。
该版本还修改了oneDNN构建检查:缺少DNNL包或仅CPU的DNNL构建会在配置阶段报错,不再静默生成降级后端。
Intel Arc Pro B70实测数据
发布说明给出在Intel Arc Pro B70上运行Qwen3.8-27B-GSQ-RCO-IQ3_S(MTP)、参数 -ngl 999 -b 4096 -ub 1024 -fa on的对比数据。
tg256 @ 0 ctx:12.92 → 23.54 tok/s(+82%);tg256 @ 9,216:12.33 → 21.69 tok/s(+76%);tg256 @ 64,000:9.76 → 14.91 tok/s(+53%)。
pp8192:833.9 → 833.6 tok/s,基本持平。
- tg256在 0、9,216、64,000 三个上下文长度下分别提升 82%、76%、53%
- pp8192前后为 833.9 与 833.6 tok/s,变化可忽略
- 上述数字来自发布说明,硬件与模型组合为Intel Arc Pro B70与Qwen3.8-27B-GSQ-RCO-IQ3_S(MTP)
影响范围与排除项
发布说明称,Qwen3.5-9B的Q4_K_M与Q3_K_M在测试中处于噪声范围,最大pp差异为 -0.5%,tg持平,因此标准量化不受该改动影响。
发布说明明确,MMVQ GLU融合扩展和rms_norm+scale融合不是本次改动的一部分,主分支已通过 #28931 携带这些内容。
- 收益限于IQ3_S与IQ3_XXS,不适用于Q4_K_M、Q3_K_M等标准量化
- 改动同时覆盖decode与prefill路径
- MMVQ GLU融合扩展与rms_norm+scale融合来自 #28931,不属于本次合并
构建检查与产物
oneDNN构建检查被收紧:缺少DNNL包或仅CPU的DNNL构建现在会在配置阶段失败。
该版本继续发布多平台二进制产物,包括macOS、Linux、Android、Windows的CPU、CUDA、Vulkan、SYCL、ROCm、OpenVINO等构建;macOS Apple Silicon的KleidiAI启用版本与openEuler构建在本次发布中标记为DISABLED。
- 缺少DNNL包或仅CPU的DNNL构建在配置阶段直接失败
- 发布产物覆盖Linux、macOS、Windows、Android平台,含CUDA 12/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO等后端
- macOS Apple Silicon KleidiAI启用版本与openEuler构建在本次发布中标记为DISABLED