llama.cpp b12200改进OpenCL后端q8_0与MoE小n投机验证
llama.cpp发布构建b12200，合入PR #31831，为OpenCL后端增加q8_0 GEMV内核、扩展小n MoE GEMV的量化格式覆盖，并针对小验证批次关闭bin FA。
llama.cpp发布构建版本b12200，合入PR #31831，标题为“opencl: improve q8_0 and MoE small-n verification for spec”。版本说明列出六项OpenCL后端改动，主要面向投机解码中的小批量验证场景。
PR #31831 的具体改动
版本说明显示，本次提交为OpenCL后端新增内核kernel_gemv_noshuffle_q8_0_f32_mc，用于q8_0量化格式的GEMV（矩阵-向量乘）计算。
小n的MoE GEMV从q5_1、q4_k两种量化格式起步，随后扩展到“更多量化格式”。另有一项改动为Adreno内核设置k的下限 256（x2）。PR中还包含一次函数重命名，以及为小验证批次关闭bin FA。
提交记录将上述改动归入OpenCL后端，并注明Assisted-by: Claude Opus 5.5，共同作者包括Shaofei Qi、Hongqiang Wang、Li He。
- 新增kernel_gemv_noshuffle_q8_0_f32_mc
- 小n MoE GEMV支持q5_1、q4_k，后扩展至更多量化格式
- Adreno内核k floor 256 for x2
- 函数重命名
- 小验证批次禁用bin FA
发布产物与适用平台
b12200提供macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（x64/arm64/s390x，含v2与Vulkan、CUDA 12.8/13.5、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等）以及Windows（x64/arm64，含CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm）产物。Android提供arm64纯CPU与Snapdragon（CPU、Adreno GPU、Hexagon NPU）两个包；Windows arm64另有OpenCL Adreno包。
release页面显示，macOS Apple Silicon的KleidiAI版本与openEuler构建被标记为DISABLED。
- Windows arm64单独提供OpenCL Adreno构建
- Android提供Snapdragon专用包，覆盖Adreno GPU与Hexagon NPU
- macOS KleidiAI版本与openEuler构建标记DISABLED
本次改动针对的场景
从提交说明看，这些内核改动服务于“spec”（投机解码）中的小n验证：新增q8_0的GEMV内核，并让小n MoE GEMV覆盖更多量化格式；同时在小验证批次下关闭bin FA。版本说明未给出性能数字，也没有说明这些改动对推理速度的具体影响。