开源llama.cpp Releases·原文 2026年10月28日

llama.cpp b11953为 384 专家MoE增加CUDA top-k融合

该版本提交信息为 “cuda : add top-k MoE fusion for 384 experts (#31288)”,并标注Assisted-by: Codex;发布页同时提供了各平台预编译包下载。

llama.cpp发布b11953版本,版本说明中的改动为 “cuda : add top-k MoE fusion for 384 experts”,对应pull request #31288。

该提交信息标注 “Assisted-by: Codex”。发布页未附基准测试或加速比例,因此该融合对推理速度的实际影响尚无公开数据。

改动范围与适用条件

按提交说明,此次改动位于CUDA后端,针对专家数为 384 的MoE模型实现top-k融合。发布页没有说明该路径对哪些模型架构、哪些GPU型号或哪些量化格式生效,也未说明是否默认启用。

  • 改动对象:CUDA后端
  • 技术点:top-k MoE fusion
  • 专家规模:384 experts
  • PR编号:#31288
  • 辅助标注:Assisted-by: Codex

同版本提供的预编译产物

b11953发布页列出了多平台二进制包。Linux与Windows的CUDA构建分别提供CUDA 12与CUDA 13两套版本,并单列对应的CUDA运行时库压缩包。

macOS Apple Silicon的KleidiAI启用版本与openEuler构建在页面中标注为DISABLED。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16
  • Linux arm64 Snapdragon:CPU、Adreno GPU、Hexagon NPU
  • Android:arm64 CPU与Snapdragon版本
  • Windows:CPU、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • 其他:UI包

信息来源

llama.cpp Releases原始来源