llama.cpp发布v0.7.0,新增Nemotron Super 3.5 VL等模型支持
ggml-org项目llama.cpp从v0.6.0升到v0.7.0,同时将ggml升至 0.27.0;更新日志列出模型支持、服务端与各后端修复等大量改动。
AI解读:llama.cpp已发布v0.7.0,页面的更新日志显示该版本号由提交 620d2225c完成(#30603)。同一同步中ggml升至 0.27.0(提交c0cb53ac4)。
新增模型支持包括Nemotron Super 3.5 VL与Nemotron Bolt 74B A9B(#30520),以及maion-coder(#29778)等,具体适用范围页面未逐项说明。
服务端侧改动涉及:修复SWA复用阈值中的off-by-two(#30580)、在slot文件中保存draft状态(#30574)、优先使用空slot并保留被子任务覆盖的状态(#30567)、仅保存可恢复的slot状态到prompt缓存(#30498)。
后端与硬件相关修复分布在Vulkan、OpenCL、SYCL、Metal、CUDA/HIP、WebGPU、Hexagon等,包括并发首次设备初始化、Adreno OOB访问、Metal BF16 flash attention内核等。
页面同时给出Nightly build b11669的链接,以及ggml-org项目版本发布规则的讨论链接。来源为llama.cpp Releases页的发布说明,未提供性能或兼容性测试结果。
llama.cpp发布v0.7.0。发布页将其描述为“New version has been released”,更新日志中的首个条目为提交 620d2225c,把版本号升到 0.7.0(#30603)。
同一批提交将ggml升至 0.27.0(c0cb53ac4),并列出从v0.6.0起的全部变更条目。
新增模型与后端改动
更新日志中与模型支持相关的条目包括:models : add Nemotron Super 3.5 VL and Nemotron Bolt 74B A9B support(#30520),以及models : add maion-coder(#29778)。页面没有说明这些模型支持的硬件要求或量化范围。
同一批记录还包含一批特定模型相关修复与扩展,例如Mellum从GGUF读取MoE门控参数并统一RoPE(#30578)、MiniCPM-V 4.7(#29416)、Prism Bonsai 2 27B(#29600)、embeddinggemma2(#30054)等。具体每项支持到什么程度需查看对应PR。
- Nemotron Super 3.5 VL与Nemotron Bolt 74B A9B支持(#30520)
- Mellum的MoE门控参数改为从GGUF读取并统一RoPE(#30578)
- 新增maion-coder(#29778)
服务端与缓存行为
服务端条目集中在状态保存与slot调度:修复SWA复用阈值中的off-by-two(#30580)、把draft状态保存进slot文件(#30574)、优先使用空slot并保留被子任务覆盖的状态(#30567)、只把可恢复的slot状态写入prompt缓存(#30498)。
另有若干与prompt cache、上下文检查点相关的改动,例如server : preserve context checkpoints across slot save/restore(#26004)与server : save only restorable slot states to the prompt cache(#30498)。这些条目描述的是行为修正,页面未给出改动前后的效果对比数据。
- 修复SWA复用阈值中的off-by-two(#30580)
- slot文件中保存draft状态(#30574)
- 优先空slot、保留被子任务覆盖的状态(#30567)
- 只保存可恢复的slot状态到prompt缓存(#30498)
多后端修复与构建
变更覆盖Vulkan、OpenCL、SYCL、Metal、CUDA/HIP、WebGPU与Hexagon等后端。例如vulkan : fix concurrent first device init(#29766)、opencl: fix OOB tail access for adreno noshuffle gemv kernels(#30421)、metal : add BF16 variant of the tensor API flash attention kernel(#30491)、sycl : replace oneAPI package by DLE+oneDNN package(#30131)。
构建与工具链方面包括CI bump ty到 0.0.88(#30587)、新增ci-status.sh列出活跃CI运行(#30586)、CI以GGML_NATIVE=OFF构建OpenVINO发布版本(#30324)等。
发布页另附Nightly build b11669的链接,以及讨论ggml-org项目版本发布规则的链接。
- Vulkan并发首次设备初始化修复(#29766)
- OpenCL Adreno noshuffle gemv内核OOB修复(#30421)
- Metal张量API flash attention新增BF16变体(#30491)
- SYCL以DLE+oneDNN包替换oneAPI包(#30131)
- Nightly build为b11669