llama.cpp发布b11963:SYCL后端为短TOP_K行加入work-group argmax
该版本将SYCL后端的短TOP_K行argmax改为work-group实现,提交说明称由angelX协助优化;补丁和基线各重跑 3 次均通过,其余失败在基线同样出现。
llama.cpp发布b11963版本,代码变更只有一项:SYCL后端为短TOP_K行实现work-group argmax(PR #31110)。
提交说明记录了一次测试失败:ncols q2_0 [256,2,3,4] 的行在补丁上失败过一次,补丁和基线各重跑 3 次均通过;其他在补丁运行中出现的失败也能在基线复现。提交信息还注明Assisted-by: Claude Opus 5.5。
SYCL短TOP_K行改动与测试记录
该PR标题为“sycl: work-group argmax for short TOP_K rows”,提交说明称使用angelX优化SYCL协调,并列出上述测试结果。提交者称按建议修改了代码。
发布页没有给出该改动在真实模型推理中的吞吐或延迟数据,现有测试结果只覆盖提交说明中列出的失败与重跑情况。
- 代码变更:SYCL后端短TOP_K行使用work-group argmax(PR #31110)。
- 测试记录:ncols q2_0 [256,2,3,4] 的行在补丁上失败过一次;补丁和基线各重跑 3 次均通过。
- 其他补丁运行失败也在基线出现。
- 提交信息注明Assisted-by: Claude Opus 5.5。
发布包与平台范围
b11963发布页列出macOS/iOS、Linux、Android、Windows和openEuler的预编译包。macOS Apple Silicon(arm64)提供普通包和启用KleidiAI的包,后者标记为DISABLED;openEuler全部包也标记为DISABLED。
Linux包覆盖Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Snapdragon的CPU、Adreno GPU、Hexagon NPU组合。
- macOS Apple Silicon(arm64,KleidiAI启用)标记为DISABLED。
- openEuler各包标记为DISABLED。
- Linux提供CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL和Snapdragon等构建。
- Windows提供CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm及OpenCL Adreno构建。