llama.cpp b11581移除冗余ggml_cont调用,CUDA unary kernel已可直接支持
该版本合并PR #30198,删除模型中不再需要的ggml_cont调用,并在qwen3next中恢复sigmoid前后的cont_2d;同时照例发布多平台二进制包。
AI解读:这一改动针对的是模型代码里多余的ggml_cont调用:提交信息称CUDA unary kernel已支持这些操作,因此不再需要在所有unary算子前手动插入连续化拷贝。
适用对象是使用llama.cpp模型定义、并在CUDA后端运行的用户;提交同时说明qwen3next中广播乘法在sigmoid之后仍需恢复cont_2d,说明这一删除并非对所有场景都无条件生效。
llama.cpp发布b11581版本,主提交为PR #30198:models : remove redundant ggml_cont calls now supported by all unary kernels。
提交信息列出三项改动:移除现在CUDA unary kernel已支持的冗余ggml_cont调用;在广播乘法中于sigmoid之后恢复cont_2d;清理dflash的cont;并更新src/models/qwen3next.cpp。
提交者包括Sigbjørn Skjæret,其为共同作者。
改动内容
根据提交信息,这一改动的出发点是CUDA unary kernel已经原生支持相关操作,因此模型代码中原本为适配而添加的ggml_cont调用变得多余,可以移除。
但提交同时做了保留性调整:在qwen3next中,sigmooid之后的广播mul仍需cont_2d;最终版本是在sigmoid之前恢复cont_2d。这说明并非所有unary场景都能省去连续化步骤。
- PR #30198 标题:models : remove redundant ggml_cont calls now supported by all unary kernels
- 改动文件包括src/models/qwen3next.cpp
- 提交信息提到dflash cont清理
发布产物
b11581照例提供各平台二进制包,覆盖macOS、iOS、Linux、Android和Windows,以及CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、OpenCL Adreno、Snapdragon等后端。
其中macOS Apple Silicon的KleidiAI启用版本标记为DISABLED,openEuler相关包同样标记为DISABLED。
- macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Snapdragon的CPU/Adreno GPU/Hexagon NPU
- Android:arm64 CPU、Snapdragon CPU/Adreno GPU/Hexagon NPU
- Windows:x64/arm64 CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO 2026.4.1、SYCL、ROCm 10.0
- UI单独提供tar.gz包