llama.cpp b11944在 /props暴露聊天模板的推理强度等级
该版本的服务端会逐一渲染minimal、low、medium、high、xhigh、max六档及一个未知档位,以探测模板实际支持的推理强度;结果通过 /props的chat_template_caps.reasoning_effort_levels按从低到高返回。
llama.cpp发布b11944,合并的改动是在服务端暴露聊天模板的推理强度等级(#31271)。发布说明称,能力探测会为每个候选档位渲染一次用户轮次,候选包括minimal、low、medium、high、xhigh、max,另加一个未知档位。
一个档位被认定为受支持的条件是:渲染不报错,且结果与未知档位的渲染不同;与未知档位相同表示命中了模板回退。若多个档位的渲染结果相同,则视为彼此别名,只保留其中最高的一档。
探测结果会序列化为JSON,在 /props的chat_template_caps中以reasoning_effort_levels字段报告,按从低到高排列。
探测与JSON输出的实现细节
发布说明写明,该项能力由common_chat_templates_get_caps() 组装后交给服务端报告。jinja侧的能力信息继续以map形式保存标志位,推理强度等级作为普通成员保留;按说明,jinja仅在探测输入上依赖json。
同版本发布页列出了各平台预编译产物,覆盖macOS(arm64、x64)、iOS XCFramework,以及Linux、Android、Windows上的CPU、CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL等后端。其中macOS arm64的KleidiAI版本和openEuler条目在发布页标注为DISABLED。