开源llama.cpp Releases·原文 2026年11月4日

llama.cpp发布b12081:CUDA后端尝试修复Q8_1校正求和问题

该版本提交说明称,这是一项针对Q8_1校正求和的“potential fix”(潜在修复),同时调整了quantize_mmq_q8_1的流程;发布页其余内容为各平台预编译包下载链接。

AI解读:llama.cpp发布构建版本b12081,核心变更是CUDA后端对Q8_1量化校正求和(correction sum)的修复尝试,提交标题使用“potential fix”措辞,即尚未表述为已确认修复。

提交说明显示改动涉及ggml/src/ggml-cuda/quantize.cu,并按评审意见一并修改了quantize_mmq_q8_1的流程;提交由bot发布,署名共同作者包括Gaurav Garg。

发布页列出了macOS、iOS、Linux、Android、Windows以及openEuler等多个平台的预编译产物,包括CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO等后端;其中macOS KleidiAI版本与openEuler条目标注为DISABLED。

来源未给出该修复的效果数据、受影响的模型范围或验证结果,因此无法据此判断精度或性能变化幅度。

llama.cpp发布构建版本b12081。发布说明中的变更条目为“cuda: potential fix for Q8_1 correction sum (#31247)”,即针对CUDA后端Q8_1量化校正求和问题的修复尝试。

提交说明显示,改动文件包括ggml/src/ggml-cuda/quantize.cu,并按评审意见调整了quantize_mmq_q8_1的流程;提交署名共同作者为Gaurav Garg。

b12081的代码改动

该版本对应的提交为 #31247,标题使用“potential fix”,表明这是一项修复尝试而非已确认解决的结论。提交说明列出两次代码更新:修改quantize.cu,以及按评审意见同步修改quantize_mmq_q8_1的流程。

  • 提交标题:cuda: potential fix for Q8_1 correction sum (#31247)
  • 涉及文件:ggml/src/ggml-cuda/quantize.cu
  • 另按评审意见调整quantize_mmq_q8_1流程
  • 共同作者:Gaurav Garg

发布产物覆盖范围

发布页按平台列出预编译包,涵盖macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu x64/arm64/s390x、Android arm64、Windows x64/arm64,以及Snapdragon的CPU、Adreno GPU、Hexagon NPU组合包。后端方面包括CPU、CUDA 12.8/12.4、CUDA 13.4、Vulkan、ROCm 10.0、SYCL FP32/FP16、OpenVINO 2026.4.1与OpenCL Adreno。

  • macOS Apple Silicon的KleidiAI版本标注为DISABLED,指向PR #23780
  • openEuler各条目标注为DISABLED,指向PR #23705
  • Windows与Linux的CUDA包分别附带对应版本cudart库
  • 另提供独立UI包

尚待确认的部分

来源没有说明该Q8_1校正求和问题会影响哪些量化模型、触发条件是什么,也未给出修复前后的精度或性能对比。对使用CUDA后端与Q8_1量化路径的用户,这一条目指向的是一次待验证的代码改动,而非已公布的效果结论。

信息来源

llama.cpp Releases原始来源