开源llama.cpp Releases·原文 2026年10月30日

llama.cpp b12007将KV-cache旋转常量保留在GPU上

llama.cpp发布b12007版本,合并 #31073:把KV-cache的旋转常量常驻GPU,并加入分层旋转缓冲,mistral-large4与dflash改用分层旋转;提交记录称多设备旋转仍有后续工作。

llama.cpp发布b12007版本,合并PR #31073,主题为“kv-cache:将旋转常量保留在GPU上”。提交记录显示,改动让KV-cache的旋转常量常驻GPU,并加入按层分配的旋转缓冲。

同一提交还修正了混合SWA(滑动窗口注意力)的旋转输入与混合放置检查,并让mistral-large4和dflash模型使用分层旋转。提交信息写明多设备旋转仍有后续工作,未给出性能数据。

b12007具体改了什么

提交记录把改动拆为几项:让旋转常量留在GPU;验证常驻KV旋转缓冲的测试;记录多设备旋转的剩余工作;支持按层旋转缓冲;修复混合SWA旋转输入与混合放置检查;mistral-large4和dflash使用按层旋转。

提交记录最后一项是“tests: drop the rotation buffer tests”,即删除了旋转缓冲测试。提交信息标注Assisted-by: Codex,并列出Pascal为共同作者。

  • 旋转常量常驻GPU,对应PR #31073。
  • 加入分层旋转缓冲,并修复混合SWA旋转输入与混合放置检查。
  • mistral-large4与dflash模型路径改用分层旋转。
  • 提交记录自述多设备旋转仍有未完成工作。

发布产物的覆盖范围

发布页列出各平台构建:macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework;Linux的Ubuntu x64/arm64/s390x(含CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16)以及Linux arm64 Snapdragon包;Android arm64(含Snapdragon版本);Windows x64/arm64(CPU、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL、ROCm、OpenCL Adreno)。

发布页同时把macOS Apple Silicon的KleidiAI启用版本和openEuler系列构建标注为DISABLED,并给出对应PR链接。

  • 覆盖macOS、iOS、Linux、Android、Windows多类构建。
  • macOS KleidiAI启用版本、openEuler构建标注DISABLED。

信息来源

llama.cpp Releases原始来源