开源llama.cpp Releases·原文 2026年10月28日

llama.cpp发布b11963:SYCL后端为短TOP_K行加入work-group argmax

该版本将SYCL后端的短TOP_K行argmax改为work-group实现,提交说明称由angelX协助优化;补丁和基线各重跑 3 次均通过,其余失败在基线同样出现。

llama.cpp发布b11963版本,代码变更只有一项:SYCL后端为短TOP_K行实现work-group argmax(PR #31110)。

提交说明记录了一次测试失败:ncols q2_0 [256,2,3,4] 的行在补丁上失败过一次,补丁和基线各重跑 3 次均通过;其他在补丁运行中出现的失败也能在基线复现。提交信息还注明Assisted-by: Claude Opus 5.5。

SYCL短TOP_K行改动与测试记录

该PR标题为“sycl: work-group argmax for short TOP_K rows”,提交说明称使用angelX优化SYCL协调,并列出上述测试结果。提交者称按建议修改了代码。

发布页没有给出该改动在真实模型推理中的吞吐或延迟数据,现有测试结果只覆盖提交说明中列出的失败与重跑情况。

  • 代码变更:SYCL后端短TOP_K行使用work-group argmax(PR #31110)。
  • 测试记录:ncols q2_0 [256,2,3,4] 的行在补丁上失败过一次;补丁和基线各重跑 3 次均通过。
  • 其他补丁运行失败也在基线出现。
  • 提交信息注明Assisted-by: Claude Opus 5.5。

发布包与平台范围

b11963发布页列出macOS/iOS、Linux、Android、Windows和openEuler的预编译包。macOS Apple Silicon(arm64)提供普通包和启用KleidiAI的包,后者标记为DISABLED;openEuler全部包也标记为DISABLED。

Linux包覆盖Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16,以及Snapdragon的CPU、Adreno GPU、Hexagon NPU组合。

  • macOS Apple Silicon(arm64,KleidiAI启用)标记为DISABLED。
  • openEuler各包标记为DISABLED。
  • Linux提供CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL和Snapdragon等构建。
  • Windows提供CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm及OpenCL Adreno构建。

信息来源

llama.cpp Releases原始来源