llama.cpp新增LLM-jp-4.1 Harmony方言处理程序
llama.cpp发布b11320,为LLM-jp-4.1增加专用Harmony处理器,原因是其tokenizer在每个特殊token后解码出一个空格,并行工具调用以特定分隔符分隔,导致GPT-OSS处理器拒绝该输出。
AI解读:llama.cpp的构建版本b11320加了一个专门处理LLM-jp-4.1输出的Harmony方言处理器。原因很具体:LLM-jp-4.1用的是GPT-OSS那套格式,但它的tokenizer会在每个特殊token后面多解码出一个空格,并行工具调用之间用的分隔符也不一样,原有的GPT-OSS处理器会直接拒绝这种输出。
对在本地或自建服务里跑LLM-jp-4.1的人来说,这次改动的直接影响是工具调用终于能被正确解析,不需要自己改输出再喂给解析器。是否生效取决于chat template里是否声明了chat_format=llm-jp-harmony-v1,没有这个声明的模型仍走原来的处理路径。改动本身出自一次提交(#29681),提交说明标注了Assisted-by: Claude Fable 5.1。
这属于兼容性修补,不改变模型能力,也不影响其他模型的输出解析。它解决的是一个特定模型在特定运行时里的解析失败问题,收益范围基本限定在LLM-jp-4.1的用户。
llama.cpp发布构建版本b11320,其中新增了一个专门处理LLM-jp-4.1的Harmony方言处理器。
据提交说明(#29681),LLM-jp-4.1使用GPT-OSS格式,但它的tokenizer会在每个特殊token之后解码出一个空格,并且并行工具调用之间以特定分隔符分隔。
原有的GPT-OSS处理器会拒绝LLM-jp-4.1的这种输出,因此llama.cpp增加了一个专用处理器,通过chat template中的chat_format=llm-jp-harmony-v1声明来选用。
该提交说明标注Assisted-by: Claude Fable 5.1。
b11320同时提供了覆盖macOS/iOS、Linux、Android、Windows及多个后端(CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon)的预编译产物,以及UI包。
其中macOS Apple Silicon的KleidiAI启用版本和openEuler构建被标记为DISABLED。