开源llama.cpp Releases·原文 2026年11月9日

llama.cpp b12223为Granite架构接入NVFP4权重缩放

llama.cpp发布b12223版本,合并的改动将Granite NVFP4权重缩放接入build_ffn,并覆盖所有Granite架构。

AI解读:llama.cpp发布b12223版本,核心改动是合并PR #31449:为Granite模型附加NVFP4权重缩放。

提交说明称,改动让nvfp4 scales经由build_ffn传递,覆盖所有Granite架构;分支名为granite-nvfp4-moe-scales。

提交署名Gabe Goodhart,作者标注AI使用程度为full(Claude + Sonnet 5.5)。

同版本照例提供各平台预编译包,包括macOS、iOS、Linux、Android、Windows及UI包;macOS的KleidiAI版与openEuler包标注为DISABLED。

llama.cpp发布b12223版本,合并的改动为Granite模型附加NVFP4权重缩放,并让这些缩放参数经由build_ffn传递,适用于所有Granite架构。

本次代码改动的范围

该版本对应的提交信息为“models : Attach Granite NVFP4 weight scales (#31449)”。提交说明写道,将nvfp4 scales通过build_ffn传给所有granite架构,分支名为granite-nvfp4-moe-scales。

提交由Gabe Goodhart署名,作者在提交信息中标注AI使用程度为full(Claude + Sonnet 5.5)。改动仅说明参数传递路径,提交信息未给出推理速度、精度或内存占用的对比数据。

  • PR编号:#31449
  • 改动内容:Granite NVFP4权重缩放的接入与传递
  • 适用范围:提交说明称覆盖所有Granite架构
  • AI使用标注:full(Claude + Sonnet 5.5),由提交者自行标注

同版本附带的构建产物

发布页沿用llama.cpp的常规格式,列出macOS/iOS、Linux、Android、Windows与UI的预编译包下载链接,涵盖CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL等后端,以及Snapdragon的CPU、Adreno GPU、Hexagon NPU组合包。

其中macOS Apple Silicon的KleidiAI enabled版本与openEuler相关包标注为DISABLED,发布页未说明重新启用的时间。

  • Linux包覆盖x64/arm64 CPU、s390x(含zDNN)及CUDA 12.8、CUDA 13.5、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16
  • Windows包包含CPU、CUDA 12.4/13.5、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • macOS KleidiAI版与openEuler包标注DISABLED

信息来源

llama.cpp Releases原始来源