llama.cpp b11720为ggml的SUM运算加入非连续张量支持,覆盖CPU、CUDA、Vulkan、WebGPU
该版本对应的PR #28851 在CPU与CUDA上实现非连续SUM,并为CPU、CUDA、Vulkan、WebGPU补充非连续场景测试;发布页同时列出各平台预编译包。
llama.cpp发布b11720版本,变更条目为“ggml: support non-contiguous SUM (CPU, CUDA, Vulkan, WebGPU)”,对应PR #28851。
发布说明按提交列出实现顺序:先在CPU、CUDA上支持非连续SUM,再补充非连续SUM测试用例与对非连续视图的SUM测试,随后加入Vulkan和WebGPU支持。
b11720改了ggml的哪一处
该版本发布说明只有一条功能变更,指向ggml的SUM算子对非连续内存布局(non-contiguous)的处理。提交标题显示工作分五步:CPU/CUDA实现、新增非连续SUM测试、对非连续视图做SUM测试、Vulkan支持、WebGPU支持。
发布说明没有说明非连续SUM此前在哪些路径上失败或回退,也未给出改动前后的行为对比。
- 变更:ggml支持非连续SUM
- 后端:CPU、CUDA、Vulkan、WebGPU
- 测试:新增非连续SUM用例,并覆盖非连续视图上的SUM
随版本发布的构建产物
b11720发布页列出多平台预编译包,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(x64/arm64/s390x,及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16)、Linux arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)、Android arm64、Windows(CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0)与UI包。
发布页中macOS Apple Silicon的KleidiAI版本与openEuler全部条目标注为DISABLED。
- CUDA包按 12 与 13 两条版本线分别提供,并附带对应的CUDA运行时库压缩包
- 骁龙平台包细分为CPU、Adreno GPU、Hexagon NPU,并链接到安装指南
这次改动的边界
非连续SUM的支持范围以发布说明列出的四个后端为准,CPU与CUDA在提交顺序上先于Vulkan与WebGPU。发布说明未提及ROCm、SYCL、OpenVINO、OpenCL等其他在构建产物中出现的后端是否同样获得该支持,因此不能从该条目推断这些后端的行为。
发布说明未给出性能、精度或模型兼容性数据,改动影响仅能按“对应后端可处理非连续SUM”这一范围理解。