llama.cpp b11819发布:支持Nemotron非标准GQA、BPE分词器和domyn-small pre-type
该版本提交说明称新增Nemotron模型支持,并让GGUF写入与分词器识别Metaspace的prepend_scheme;发布页同时列出各平台预编译包,其中macOS KleidiAI与openEuler构建标注为DISABLED。
llama.cpp发布b11819版本。发布页的提交说明以“nemotron:支持非标准GQA、BPE分词器和domyn-small pre-type(#23343)”为题,列出本次针对Nemotron相关模型的适配内容。
提交说明还包含gguf-py与vocab的改动:将Metaspace的prepend_scheme写入GGUF元数据,并在分词器中解析和使用该字段。该提交由Martin Cimmino共同署名。
b11819中的Nemotron与分词器改动
提交说明把改动分为三部分:Nemotron支持非标准GQA、BPE分词器和domyn-small pre-type;gguf-py将Metaspace的prepend_scheme写为GGUF元数据;vocab解析该prepend_scheme为枚举、重命名键,并在detokenize中使用它。
分词器部分还有两项说明:为其他分词器添加TODO;使用常量表示Metaspace转义空格。这些内容属于提交说明所述实现,发布页未附对应模型的输出样例或性能数据。
- 支持Nemotron的非标准GQA
- 支持BPE分词器
- 支持domyn-small pre-type
- gguf-py写入Metaspace prepend_scheme元数据
- vocab解析prepend_scheme为枚举并在detokenize中使用
预编译包与受限构建
发布页按平台列出下载包:macOS/iOS包括Apple Silicon arm64、Intel x64和iOS XCFramework;Linux包括Ubuntu x64、arm64、s390x的CPU包及多种加速后端包;Android包括arm64 CPU与Snapdragon包;Windows包括x64/arm64 CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm等包;另有UI包。
两项构建标注为DISABLED:macOS Apple Silicon的KleidiAI启用版本,以及openEuler构建。发布页对openEuler仍列出x86 310p、x86 910b(ACL Graph)、aarch64 310p、aarch64 910b(ACL Graph)条目,但整体标记为禁用。
- macOS Apple Silicon(arm64,KleidiAI enabled):DISABLED
- openEuler:DISABLED
- Linux提供CUDA 12.8与CUDA 13.4两套x64包及对应库
- Windows提供CUDA 12.4与CUDA 13.4包及对应DLL
- Android与Linux均提供Snapdragon的CPU、Adreno GPU、Hexagon NPU包