开源llama.cpp Releases·原文 2026年10月16日

llama.cpp发布v0.7.0,新增Nemotron Super 3.5 VL等模型支持

ggml-org项目llama.cpp从v0.6.0升到v0.7.0,同时将ggml升至 0.27.0;更新日志列出模型支持、服务端与各后端修复等大量改动。

AI解读:llama.cpp已发布v0.7.0,页面的更新日志显示该版本号由提交 620d2225c完成(#30603)。同一同步中ggml升至 0.27.0(提交c0cb53ac4)。

新增模型支持包括Nemotron Super 3.5 VL与Nemotron Bolt 74B A9B(#30520),以及maion-coder(#29778)等,具体适用范围页面未逐项说明。

服务端侧改动涉及:修复SWA复用阈值中的off-by-two(#30580)、在slot文件中保存draft状态(#30574)、优先使用空slot并保留被子任务覆盖的状态(#30567)、仅保存可恢复的slot状态到prompt缓存(#30498)。

后端与硬件相关修复分布在Vulkan、OpenCL、SYCL、Metal、CUDA/HIP、WebGPU、Hexagon等,包括并发首次设备初始化、Adreno OOB访问、Metal BF16 flash attention内核等。

页面同时给出Nightly build b11669的链接,以及ggml-org项目版本发布规则的讨论链接。来源为llama.cpp Releases页的发布说明,未提供性能或兼容性测试结果。

llama.cpp发布v0.7.0。发布页将其描述为“New version has been released”,更新日志中的首个条目为提交 620d2225c,把版本号升到 0.7.0(#30603)。

同一批提交将ggml升至 0.27.0(c0cb53ac4),并列出从v0.6.0起的全部变更条目。

新增模型与后端改动

更新日志中与模型支持相关的条目包括:models : add Nemotron Super 3.5 VL and Nemotron Bolt 74B A9B support(#30520),以及models : add maion-coder(#29778)。页面没有说明这些模型支持的硬件要求或量化范围。

同一批记录还包含一批特定模型相关修复与扩展,例如Mellum从GGUF读取MoE门控参数并统一RoPE(#30578)、MiniCPM-V 4.7(#29416)、Prism Bonsai 2 27B(#29600)、embeddinggemma2(#30054)等。具体每项支持到什么程度需查看对应PR。

  • Nemotron Super 3.5 VL与Nemotron Bolt 74B A9B支持(#30520)
  • Mellum的MoE门控参数改为从GGUF读取并统一RoPE(#30578)
  • 新增maion-coder(#29778)

服务端与缓存行为

服务端条目集中在状态保存与slot调度:修复SWA复用阈值中的off-by-two(#30580)、把draft状态保存进slot文件(#30574)、优先使用空slot并保留被子任务覆盖的状态(#30567)、只把可恢复的slot状态写入prompt缓存(#30498)。

另有若干与prompt cache、上下文检查点相关的改动,例如server : preserve context checkpoints across slot save/restore(#26004)与server : save only restorable slot states to the prompt cache(#30498)。这些条目描述的是行为修正,页面未给出改动前后的效果对比数据。

  • 修复SWA复用阈值中的off-by-two(#30580)
  • slot文件中保存draft状态(#30574)
  • 优先空slot、保留被子任务覆盖的状态(#30567)
  • 只保存可恢复的slot状态到prompt缓存(#30498)

多后端修复与构建

变更覆盖Vulkan、OpenCL、SYCL、Metal、CUDA/HIP、WebGPU与Hexagon等后端。例如vulkan : fix concurrent first device init(#29766)、opencl: fix OOB tail access for adreno noshuffle gemv kernels(#30421)、metal : add BF16 variant of the tensor API flash attention kernel(#30491)、sycl : replace oneAPI package by DLE+oneDNN package(#30131)。

构建与工具链方面包括CI bump ty到 0.0.88(#30587)、新增ci-status.sh列出活跃CI运行(#30586)、CI以GGML_NATIVE=OFF构建OpenVINO发布版本(#30324)等。

发布页另附Nightly build b11669的链接,以及讨论ggml-org项目版本发布规则的链接。

  • Vulkan并发首次设备初始化修复(#29766)
  • OpenCL Adreno noshuffle gemv内核OOB修复(#30421)
  • Metal张量API flash attention新增BF16变体(#30491)
  • SYCL以DLE+oneDNN包替换oneAPI包(#30131)
  • Nightly build为b11669

信息来源

llama.cpp Releases原始来源