llama.cpp b11620修复OpenCL下MoE q8_0 dp4a矩阵乘最小值处理
该版本在OpenCL后端修复了MoE q8_0 dp4a GEMM的最小值处理问题,并将Adreno GPU上的PREC_F32 MUL_MAT_ID标记为不支持;补丁由Hongqiang Wang参与提交(来源:llama.cpp Releases)。
llama.cpp发布b11620版本,修复了OpenCL后端中MoE q8_0 dp4a GEMM的最小值处理问题,并针对Adreno GPU将PREC_F32的MUL_MAT_ID标记为不支持。改动来自PR #30365,Hongqiang Wang参与提交。
b11620的OpenCL改动
根据发布说明,b11620包含两处OpenCL相关改动:一是修复min handling for moe q8_0 dp4a GEMM;二是reject PREC_F32 MUL_MAT_ID for adreno。前者针对MoE场景下q8_0量化与dp4a指令的GEMM计算,修正了最小值处理;后者在Adreno GPU上直接拒绝PREC_F32精度的MUL_MAT_ID运算,将其视为不支持。
提交信息标注协作者为Hongqiang Wang,PR编号 #30365。
- 修复:OpenCL下MoE q8_0 dp4a GEMM的最小值处理
- 限制:Adreno上PREC_F32 MUL_MAT_ID被标记为unsupported
- PR:#30365,Co-authored-by: Hongqiang Wang
发布的构建包
b11620同时发布了覆盖多个平台的二进制包,包括macOS(Apple Silicon arm64、Intel x64)与iOS XCFramework,Linux下的Ubuntu x64/arm64/s390x(CPU)以及Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等后端构建。
移动与嵌入式方面包含Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)与Android arm64(含Snapdragon变体)。Windows提供CPU、OpenCL Adreno arm64、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0等版本。发布页同时列出openEuler构建为DISABLED状态。
- macOS/iOS:Apple Silicon arm64、Intel x64、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL构建
- Android:arm64 CPU与Snapdragon(CPU、Adreno GPU、Hexagon NPU)
- Windows:CPU、OpenCL Adreno arm64、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0
- openEuler:DISABLED