开源llama.cpp Releases·原文 2026年10月8日本站收录 2026年10月9日

llama.cpp b11507发布:支持MoE缓存跨多GPU

llama.cpp发布b11507版本,主要变更为支持MoE缓存跨多个GPU,由PR #30112 引入;该版本同时提供macOS、Linux、Windows、Android等多平台构建包。

AI解读:该说明来自llama.cpp Releases的发布页面,作者标注为github-actions[bot],属于项目发布信息,而非独立第三方测试或评测报告。

发布页面列出了macOS/iOS、Linux、Android、Windows、openEuler及UI等构建包下载链接,其中macOS Apple Silicon的KleidiAI版本标注为DISABLED,openEuler相关构建也标注为DISABLED。

来源未提供该多GPU MoE缓存在不同硬件上的性能数据、支持的GPU型号数量或显存占用变化,因此无法据此推断速度提升幅度或适用范围。

llama.cpp发布b11507版本。根据该版本发布页面列出的信息,本次主要变更为“llama: support MoE cache over multiple GPUs”,对应PR #30112。

多GPU MoE缓存这一变更

发布页面将本次版本的核心说明写为“support MoE cache over multiple GPUs”,即支持在多个GPU之间放置MoE缓存。该条目关联的PR编号为 #30112。来源仅给出这一句说明,未展开具体实现方式、支持的GPU组合或启用条件。

  • 变更说明:llama: support MoE cache over multiple GPUs
  • 关联PR:#30112

随版本提供的构建包

b11507发布页按平台列出了可下载的构建包,覆盖macOS/iOS、Linux、Android、Windows,以及openEuler和UI。其中部分条目被标注为DISABLED:macOS Apple Silicon(arm64,KleidiAI启用)和openEuler相关构建均显示DISABLED。

Linux构建包含CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等版本,另有Snapdragon平台的Linux arm64构建(CPU、Adreno GPU、Hexagon NPU)。Windows构建包含CPU、CUDA 12.4、CUDA 13.4、Vulkan、OpenCL Adreno、OpenVINO、SYCL、ROCm 10.0等版本。Android提供arm64 CPU与Snapdragon构建;macOS提供Apple Silicon arm64、Intel x64及iOS XCFramework。

  • macOS Apple Silicon(arm64,KleidiAI启用):DISABLED
  • openEuler:DISABLED
  • Linux:Ubuntu x64/arm64/s390x(CPU)、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16、Snapdragon(CPU/Adreno GPU/Hexagon NPU)
  • Android:arm64 CPU、Snapdragon(CPU/Adreno GPU/Hexagon NPU)
  • Windows:x64/arm64 CPU、CUDA 12.4、CUDA 13.4、Vulkan、OpenCL Adreno、OpenVINO、SYCL、ROCm 10.0
  • UI:单独提供UI包

来源性质与信息边界

上述内容均来自llama.cpp Releases的b11507发布页面,发布信息由github-actions[bot] 标注发布。来源没有给出多GPU MoE缓存的性能数据、显存占用变化,也没有说明它能减少多少次GPU间通信。因此,当前只能确认该支持已出现在b11507的发布说明中,无法判断它在具体硬件上的运行效果。

  • 来源未提供性能数据、显存占用变化或适用GPU型号清单

信息来源

llama.cpp Releases原始来源