开源llama.cpp Releases·原文 2026年10月13日

llama.cpp发布b11577,修复vLLM多序列场景问题

llama.cpp新构建b11577的唯一代码改动是修复vLLM相关的d3多序列场景,并附带一条TODO;发布页同时提供多平台预编译二进制与UI包下载。

AI解读:本次发布最需要弄清的问题是:改动只针对vLLM的d3多序列情况,属于模型层面的修复。如果使用者不涉及该推理路径,这个构建相对前一版本没有其他代码变化。

发布说明只列出一条提交记录、没有附评测数据或效果对比,因此无法据此判断该修复对吞吐、延迟或正确率带来多大变化;其实际影响范围需由使用者结合自身场景验证。

llama.cpp发布构建b11577。该版本发布的提交记录为“model: fix vllm d3 multi seq case (#30408)”,并在同一条目下注明“add TODO”。

除上述改动外,发布页未列出其他代码变更。页面同时提供各平台预编译包与UI包下载链接,覆盖macOS、iOS、Linux、Android、Windows及openEuler。

b11577的代码改动

发布说明中唯一的提交条目是“model: fix vllm d3 multi seq case (#30408)”,并附有“add TODO”。这意味着该构建的代码变化集中在模型侧对vLLM d3多序列场景的修复。

发布页未提供该修复的详细说明、复现步骤或性能数据,也未说明受影响的模型或后端范围。

  • 提交标题:fix vllm d3 multi seq case(#30408)
  • 同一提交下注明:add TODO
  • 发布条目中未列出其他代码改动

可下载的平台构建

b11577的发布页列出了面向多个平台的二进制包。macOS方面有Apple Silicon(arm64)与Intel(x64)版本,以及iOS XCFramework;其中macOS Apple Silicon的KleidiAI启用版标注为DISABLED,并链接到PR #23780。

Linux方面提供Ubuntu的x64、arm64与s390x(CPU)、x64与arm64(Vulkan)、x64(CUDA 12,对应CUDA 12.8)、x64与arm64(CUDA 13,对应CUDA 13.4)、x64(ROCm 10.0)、x64(OpenVINO)、x64(SYCL FP32与FP16),以及Linux arm64的Snapdragon包(CPU、Adreno GPU、Hexagon NPU),后者附有安装指南链接。

Android提供arm64 CPU与arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)两种包,同样附安装指南。Windows覆盖x64与arm64(CPU)、arm64(OpenCL Adreno)、x64与arm64(CUDA 12.4与CUDA 13.4)、x64与arm64(Vulkan)、x64(OpenVINO)、x64(SYCL)以及x64(ROCm 10.0),CUDA版本同时提供对应的cudart DLL包。

openEuler相关的x86(310p)、x86(910b,ACL Graph)、aarch64(310p)、aarch64(910b,ACL Graph)条目标注为DISABLED,并链接到PR #23705。发布页还提供独立的UI包下载。

  • macOS/iOS:Apple Silicon(arm64)、Intel(x64)、iOS XCFramework;KleidiAI启用版标注DISABLED
  • Linux:Ubuntu x64/arm64/s390x CPU,Vulkan,CUDA 12.8,CUDA 13.4,ROCm 10.0,OpenVINO,SYCL FP32/FP16,以及Snapdragon arm64包
  • Android:arm64 CPU、arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Windows:CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0;CUDA提供对应cudart DLL
  • openEuler:多个条目标注DISABLED(PR #23705)
  • 另提供独立UI包

信息来源

llama.cpp Releases原始来源