开源llama.cpp Releases·原文 2026年11月5日

llama.cpp b12119:实时服务遇异常改为发送错误事件,不再崩溃

该版本在server的实时(realtime)路径上把异常处理改为向客户端发送错误事件;聊天模板拒绝新工具时保留原有工具,语法无法转换的工具schema会被拒绝。

AI解读:llama.cpp发布b12119构建,主要变更集中在server的realtime部分:遇到异常时发送error事件,替代此前的崩溃行为。

工具处理上有两条边界:聊天模板拒绝新工具时,保留之前的工具;grammar无法转换的工具schema会被拒绝。

提交记录显示websocket处理器改为经由ex_wrapper路由,并删除了realtime测试;后续又移除了ws_ex_wrapper。

版本同时提供macOS、Linux、Windows、Android等多平台预编译包,涵盖CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO等后端。

来源为项目发布的变更说明,未给出异常触发频率、错误事件格式或对现有客户端兼容性的进一步数据。

llama.cpp发布b12119版本,变更集中在server的realtime路径:处理过程中出现异常时,改为向客户端发送一个错误事件,而不是让进程崩溃。该说明来自项目发布的更新记录。

realtime的异常与工具处理

更新记录列出的改动包括:realtime在异常时发送error事件;websocket处理器改为通过ex_wrapper路由,并删除了realtime测试。后续提交又移除了ws_ex_wrapper。

工具方面,记录写明:当聊天模板拒绝新工具时,保留之前的工具;grammar无法转换的工具schema会被拒绝,相关schema检查的注释也做了澄清。

  • 异常处理:发送error事件,替代崩溃
  • 聊天模板拒绝新工具:沿用之前的工具
  • grammar无法转换的tool schema:拒绝

构建覆盖范围

b12119按惯例提供多平台预编译包,覆盖macOS(arm64、x64)、iOS XCFramework,Linux的Ubuntu x64/arm64/s390x,以及CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL等后端变体;Windows侧含CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm包;Android提供arm64及Snapdragon版本。

记录中macOS上启用KleidiAI的arm64包和openEuler相关构建标注为DISABLED。

信息来源

llama.cpp Releases原始来源