开源llama.cpp Releases·原文 2026年10月19日

llama.cpp b11721为CUDA后端合并Qwen4exp四段门控链

该项目发布说明称,CUDA后端把SCALE→SIGMOID→SCALE→hc_post四步合并为一个kernel,做法移植自Vulkan的HC_POST_GATE融合(#29520),对应PR #30602。

AI解读:这条改动解决的是一个具体的算子调用次数问题:hc_post原先由四步组成,现在CUDA后端用单个kernel完成,减少中间步骤。

适用对象是运行Qwen4exp相关模型、且使用CUDA后端的llama.cpp用户,不涉及其他后端或其他模型结构。

来源没有给出这项融合带来的耗时、吞吐或显存数据,因此无法判断实际加速幅度;四步合一只是实现层面的变化。

llama.cpp发布b11721,发布说明列出的主要变更在CUDA后端:合并qwen4exp的SCALE → SIGMOID → SCALE → hc_post计算链(#30602)。说明称这是对Vulkan端HC_POST_GATE融合(#29520)的移植。

融合的具体做法

发布说明称,hc_combine把hc_post的权重构造为 2*sigmoid(inject/hc);dsv4_hc_post_f32新增一个gated模板开关,可直接从原始权重计算scale_out*sigmoid(scale_in*p)。按说明的描述,这条链因此以一个kernel运行,而不是四个。

改动由PR #30602 引入,发布说明把它定位为Vulkan已有融合方案的CUDA移植版本。

  • 涉及算子:SCALE、SIGMOID、SCALE、hc_post
  • 相关函数:hc_combine、dsv4_hc_post_f32
  • kernel数量:由四步变为一个

发布包覆盖的平台

除CUDA变更外,b11721同步提供多平台预编译包,包括macOS(arm64、x64)与iOS XCFramework、Linux的CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL版本,以及Android、Windows和Snapdragon相关构建。发布说明中macOS Apple Silicon的KleidiAI版本和openEuler构建标注为DISABLED。

  • CUDA构建提供 12.8 与 13.4 两个版本,Linux和Windows均有x64包
  • Windows arm64提供CUDA 13.4构建
  • openEuler各构建在发布说明中标为DISABLED

信息来源

llama.cpp Releases原始来源