llama.cpp发布b12018,修复SYCL后端f32转q2_0/q4_0/q5_0的CPY舍入
该版本由llama.cpp的GitHub Releases页面发布,变更说明仅一行:在CPY操作中修正f32到q2_0、q4_0、q5_0的舍入(PR #31120),同时附上多平台预编译包。
AI解读:llama.cpp发布构建版本b12018,来源为项目GitHub Releases页面,发布者为github-actions[bot]。
该版本标注的变更是sycl: fix f32 to q2_0/q4_0/q5_0 rounding in CPY(#31120),即修复SYCL后端在CPY中把f32转换为q2_0、q4_0、q5_0时的舍入问题。
发布页同时提供macOS/iOS、Linux、Android、Windows以及UI的预编译产物,Linux侧覆盖CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等变体。
来源只给出变更标题,没有附带测试结果、精度对比或性能数据,因此无法判断该修复对输出质量的实际影响范围。
llama.cpp发布构建版本b12018。发布页列出的唯一变更说明为:修复SYCL后端在CPY中把f32转换为q2_0、q4_0、q5_0时的舍入,对应PR #31120。
本次变更涉及的范围
发布说明的变更条目为“sycl: fix f32 to q2_0/q4_0/q5_0 rounding in CPY (#31120)”。从字面看,改动集中在SYCL后端的拷贝(CPY)路径,处理f32向q2_0、q4_0、q5_0三种量化格式转换时的舍入行为。
来源未说明该问题影响哪些具体模型或任务,也未给出修复前后的数值对比。
- 变更对象:SYCL后端
- 操作环节:CPY
- 涉及格式:f32输入,q2_0、q4_0、q5_0输出
- 对应PR:#31120
随版本提供的构建产物
发布页按平台列出预编译包,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework;Linux下的Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16等变体;另有Snapdragon平台包(CPU、Adreno GPU、Hexagon NPU)与Android arm64包。
Windows侧提供x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4(含arm64)、Vulkan、OpenVINO、SYCL、ROCm 10.0等包;此外还单独提供UI包。
- macOS Apple Silicon的KleidiAI启用版本标注为DISABLED
- openEuler相关产物在发布页标注为DISABLED
- Linux与Windows均提供SYCL包,与本次修复所在后端对应