开源llama.cpp Releases·原文 2026年11月1日

llama.cpp b12023修复server共享决策前缀问题,多项后端构建同步更新

llama.cpp发布b12023版本,server端将共享决策前缀限制在父任务和每个子任务的第一个必需输出位置,以修复问题 #30482;发布页同时提供macOS、Linux、Windows、Android等多平台预编译包。

AI解读:llama.cpp发布b12023,主要变更是server模块(PR #30710):把共享决策前缀限制到父任务和每个子任务的第一个必需输出位置。

提交说明称,这样在问题共享选项token时,决策输出嵌入仍能保留在最终批次中;该改动修复issue #30482,由aiqubits署名提交。

发布页列出了macOS、iOS、Linux、Android、Windows和openEuler等平台的预编译构建,其中openEuler构建标记为DISABLED。

针对这一具体问题,提交说明只解释了共享前缀截断的位置与嵌入保留的关系,没有给出性能对比或受影响场景的量化数据。

llama.cpp发布b12023版本,主要改动在server模块(PR #30710):把共享决策前缀限制在父任务和每个子任务的第一个必需输出位置。提交说明称,这样在问题共享选项token时,决策输出嵌入仍能保留在最终批次里。该改动修复issue #30482,由aiqubits署名提交。

改动针对的场景:共享选项token时的决策输出

根据发布说明,这次把共享前缀截断到首个必需输出位置,目的是避免多个问题共用选项token时,决策输出嵌入在最终批次中被挤掉。提交信息未进一步说明受影响的模型、任务类型或调用方式。

同步发布的平台构建

发布页列出了b12023对应的多项预编译构建,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework;Ubuntu的x64/arm64/s390x CPU版本,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL等后端版本;Windows的CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm版本;Android arm64及Snapdragon版本。

  • macOS Apple Silicon的KleidiAI启用版本标记为DISABLED。
  • openEuler构建在发布页标记为DISABLED。

信息来源

llama.cpp Releases原始来源