开源llama.cpp Releases·原文 2026年10月9日

llama.cpp发布b11517:CUDA后端向主机MMQ配置辅助函数传递src1精度

llama.cpp新构建b11517的CUDA改动为 #30168,作者ynankani将src1精度传入主机端MMQ配置辅助函数,并使其显式化;发布页同时列出各平台预编译包下载。

llama.cpp发布新构建b11517,本次CUDA改动为PR #30168,标题为“CUDA: pass src1 precision to host MMQ config helpers”,作者ynankani。

提交说明显示两处动作:将src1精度传给主机端MMQ配置辅助函数,以及让src1精度变成显式参数。

CUDA改动内容与范围

PR #30168 只涉及CUDA后端:把src1精度传递给主机端的MMQ配置辅助函数,并在后续提交中使该精度参数显式化。签名记录为ynankani。

发布页没有给出该改动对推理速度、精度或显存占用的实测数据,也未说明是否影响非CUDA平台。

  • PR编号:#30168
  • 改动对象:主机MMQ配置辅助函数
  • 改动动作:传入并显式声明src1精度
  • 作者签名:ynankani

b11517构建产物

发布页列出了b11517在多个平台与后端的预编译包,包括macOS/iOS、Linux、Android、Windows、openEuler以及UI。

其中macOS Apple Silicon的KleidiAI启用版与openEuler构建均标注为DISABLED,即对应链接当前不可用。Linux与Windows的CUDA包分别提供CUDA 12和CUDA 13两种版本,并单独提供对应的CUDA运行库压缩包。

  • macOS/iOS:Apple Silicon arm64、Intel x64、iOS XCFramework;KleidiAI启用版DISABLED
  • Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Android:arm64 CPU、Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Windows:x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4及对应DLL、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • openEuler:x86 310p、x86 910b ACL Graph、aarch64 310p、aarch64 910b ACL Graph均标为DISABLED
  • UI:单独打包

信息来源

llama.cpp Releases原始来源