开源llama.cpp Releases·原文 2026年11月6日

llama.cpp发布b12144:CUDA后端为MoE数据布局做线性化,修复F16性能回退

该版本合并PR #31047,针对MMQ/MMF在CUDA上的MoE数据布局做线性化,并将MMQ tile尺寸优化推广到更一般情况,同时修复一处F16性能回退;发布页同步给出各平台预编译包。

llama.cpp发布b12144版本,发布说明记录的改动为合并PR #31047,主题是CUDA后端下MMQ/MMF的MoE数据布局线性化。

同一PR还提到“更普遍地应用MMQ tile尺寸优化”,以及“修复F16性能回退”。

CUDA改动内容

发布说明以“CUDA: linearize MoE data layout for MMQ/MMF (#31047)”作为b12144的条目,后面列出三条子项:线性化MoE数据布局、推广MMQ tile尺寸优化、修复F16性能回退。

这些描述来自发布页的变更条目本身,页面未给出具体性能数字或受影响模型范围。

  • PR编号:#31047
  • 涉及后端:CUDA
  • 涉及组件:MMQ、MMF、MoE数据布局
  • 附带修复:F16性能回退

构建产物与平台

发布页按平台列出预编译包下载链接,包括macOS Apple Silicon(arm64)与macOS Intel(x64)、iOS XCFramework、Ubuntu多个变体(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android arm64、Windows x64/arm64(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。

其中macOS Apple Silicon的KleidiAI版本与openEuler相关构建标注为DISABLED,页面分别链接到PR #23780 与PR #23705。

  • macOS Apple Silicon(arm64,KleidiAI enabled):DISABLED
  • openEuler条目:DISABLED
  • 提供CUDA 12.8、CUDA 13.4及对应库文件下载

信息来源

llama.cpp Releases原始来源