llama.cpp b11345为Hexagon后端加入Q2_K与Q3_K量化支持
新版本发布说明显示,这次更新的核心是一项Hexagon后端改动:新增q2_k和q3_k量化类型支持,并统一了src1_row_size的分配;发布页同时列出各平台预编译包。
AI解读:这条消息的实际内容很少:llama.cpp发布b11345,合入的改动是给Hexagon后端加上q2_k和q3_k两种量化类型支持,另外做了一处src1_row_size分配的一致性调整。
受影响的主要是在高通骁龙设备上跑llama.cpp的人——也就是用Hexagon NPU那条路线的人。之前这两个低比特量化是否能在该后端可用,取决于它有没有实现对应内核;现在按发布说明是加上了。
不过发布说明只写了“支持”二字,没有给出速度、内存或生成质量数据。Q2_K、Q3_K本身就是更激进的低比特量化,能不能在Hexagon上跑是一回事,跑出来质量怎样是另一回事,需要自己实测。
普通用户不需要为此做什么,下载对应平台的新包即可;这次也没有涉及其他后端的改动。
llama.cpp发布了b11345版本,其发布说明列出的主要改动是Hexagon后端新增对q2_k和q3_k量化类型的支持(PR #29717),提交信息中另一处改动是让hex-qk的src1_row_size分配保持一致。该提交由Max Krasnyansky参与合著(Co-authored-by)。
发布页按平台列出了预编译包,包括macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework、Ubuntu x64/arm64/s390x(CPU)、Ubuntu x64与arm64的Vulkan、Ubuntu x64的CUDA 12.8与CUDA 13.4、Ubuntu arm64的CUDA 13.4、Ubuntu x64的ROCm 10.0、OpenVINO 2026.4、SYCL FP32与FP16,以及Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)和配套设置指南。
Android方面提供arm64(CPU)与arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)两个包,后者附有设置指南。Windows方面提供x64与arm64的CPU包、arm64的OpenCL Adreno包、x64与arm64的CUDA 12.4/13.4包、x64的Vulkan、OpenVINO 2026.4、SYCL与ROCm 10.0包。另外还提供UI包。
发布页中标注为DISABLED的条目包括:macOS Apple Silicon的KleidiAI版本,以及openEuler的x86(310p、910b ACL Graph)和aarch64(310p、910b ACL Graph)包。