开源llama.cpp Releases·原文 2026年10月27日

llama.cpp b11927为Metal后端加入GGML_OP_TOP_K_MASK

该版本把CUDA后端已有的融合top-k mask移植到Metal,按行用threadgroup覆盖写入保留位置、其余填 -inf;同时发布macOS、iOS、Linux、Android、Windows等多平台预编译包。

llama.cpp发布b11927版本,核心改动是在Metal后端新增GGML_OP_TOP_K_MASK算子。根据提交说明,该实现从CUDA后端移植融合top-k mask:grid-stride内核先把输出填为 -inf,每行一个threadgroup再将保留单元的mask值覆盖到输出上。

同一提交还包含一次kernel格式清理。提交说明称,函数常量会去掉某个计算图未使用的score、blocks和额外路径。提交的Assisted-by标注为dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF,环境为MacBook、M5 Max、128GB。

发布包覆盖范围

b11927随版本提供多平台预编译包:macOS Apple Silicon(arm64)、macOS Intel(x64)、iOS XCFramework;Linux侧含Ubuntu x64、arm64、s390x的CPU构建,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32与FP16构建。

Windows包包括x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12.4与 13.4、Vulkan、OpenVINO 2026.4.1、SYCL以及ROCm 10.0;Android提供arm64 CPU和骁龙(CPU、Adreno GPU、Hexagon NPU)版本,另有UI包。

  • macOS Apple Silicon的KleidiAI启用版本在发布页标记为DISABLED
  • openEuler构建(x86 310p、x86 910b ACL Graph、aarch64 310p、aarch64 910b ACL Graph)整体标记为DISABLED

信息来源

llama.cpp Releases原始来源