开源llama.cpp Releases·原文 2026年10月13日

llama.cpp b11581移除冗余ggml_cont调用,CUDA unary kernel已可直接支持

该版本合并PR #30198,删除模型中不再需要的ggml_cont调用,并在qwen3next中恢复sigmoid前后的cont_2d;同时照例发布多平台二进制包。

AI解读:这一改动针对的是模型代码里多余的ggml_cont调用:提交信息称CUDA unary kernel已支持这些操作,因此不再需要在所有unary算子前手动插入连续化拷贝。

适用对象是使用llama.cpp模型定义、并在CUDA后端运行的用户;提交同时说明qwen3next中广播乘法在sigmoid之后仍需恢复cont_2d,说明这一删除并非对所有场景都无条件生效。

llama.cpp发布b11581版本,主提交为PR #30198:models : remove redundant ggml_cont calls now supported by all unary kernels。

提交信息列出三项改动:移除现在CUDA unary kernel已支持的冗余ggml_cont调用;在广播乘法中于sigmoid之后恢复cont_2d;清理dflash的cont;并更新src/models/qwen3next.cpp。

提交者包括Sigbjørn Skjæret,其为共同作者。

改动内容

根据提交信息,这一改动的出发点是CUDA unary kernel已经原生支持相关操作,因此模型代码中原本为适配而添加的ggml_cont调用变得多余,可以移除。

但提交同时做了保留性调整:在qwen3next中,sigmooid之后的广播mul仍需cont_2d;最终版本是在sigmoid之前恢复cont_2d。这说明并非所有unary场景都能省去连续化步骤。

  • PR #30198 标题:models : remove redundant ggml_cont calls now supported by all unary kernels
  • 改动文件包括src/models/qwen3next.cpp
  • 提交信息提到dflash cont清理

发布产物

b11581照例提供各平台二进制包,覆盖macOS、iOS、Linux、Android和Windows,以及CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、OpenCL Adreno、Snapdragon等后端。

其中macOS Apple Silicon的KleidiAI启用版本标记为DISABLED,openEuler相关包同样标记为DISABLED。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Snapdragon的CPU/Adreno GPU/Hexagon NPU
  • Android:arm64 CPU、Snapdragon CPU/Adreno GPU/Hexagon NPU
  • Windows:x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO 2026.4.1、SYCL、ROCm 10.0
  • UI单独提供tar.gz包

信息来源

llama.cpp Releases原始来源