开源llama.cpp Releases·原文 2026年10月18日

llama.cpp发布b11713:CUDA低比特类型MMVQ提速,并修复HIP下Q3_K/Q6_K小nwarps问题

该版本合并PR #30517,为CUDA后端低比特量化类型提供更快的MMVQ;同一提交还修复了ggml-cuda HIP路径在GCN小nwarps下Q3_K(ncols=2,3)与Q6_K(ncols=4)的问题。发布页同步提供macOS、iOS、Linux、Android、Windows等多平台预编译包。

llama.cpp发布b11713构建,发布说明列出的主要代码变更为CUDA后端低比特类型的MMVQ提速(PR #30517),同时修复ggml-cuda HIP路径在GCN小nwarps下Q3_K(ncols=2,3)与Q6_K(ncols=4)的问题。

该提交由thelittlefireman共同署名。发布说明未给出提速幅度、基准数据或受影响的GPU架构范围。

预编译包覆盖的平台

发布页按平台列出可下载产物,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu x64/arm64/s390x(CPU)、Ubuntu Vulkan、CUDA 12.8与CUDA 13.4(含配套CUDA库)、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Linux arm64骁龙(CPU、Adreno GPU、Hexagon NPU)。

Windows侧提供x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12.4与CUDA 13.4(含DLL)、Vulkan、OpenVINO、SYCL、ROCm 10.0包;Android提供arm64 CPU与骁龙(CPU、Adreno GPU、Hexagon NPU)包;另有UI包。

被禁用的构建

发布说明中macOS Apple Silicon启用KleidiAI的构建标注为DISABLED,指向PR #23780;openEuler的x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)四个条目同样标注DISABLED,指向PR #23705。

信息来源

llama.cpp Releases原始来源