llama.cpp b11776修复投机解码下logprobs缺失问题
llama.cpp发布b11776版本,服务器端在投机解码路径中返回logprobs;随附回归测试对比启用草稿与未启用草稿的运行结果,称该测试在未修复的主分支上失败、在修复后通过。
llama.cpp发布b11776版本,服务器端新增在投机解码路径中返回logprobs的支持(PR #27196),并加入针对该行为的回归测试。
据发布说明,该测试断言被接受的草稿token应报告目标模型的logprobs,方法是比较启用草稿的运行与不启用草稿的基线;测试在master上失败(top_logprobs为空、logprob为 0.0),在带上 #27196 修复后通过。
修复覆盖的范围
改动位于llama.cpp的server部分,指向同时启用投机解码、又请求logprobs的调用。此前该组合下返回的top_logprobs为空、logprob为 0.0,修复后改为返回目标模型的logprobs。
- PR:#27196,标题为“server: Support logprobs with speculative decoding”
- 改动点:在投机解码路径中返回logprobs
- 测试:#24271 的回归测试,对比启用草稿与不启用草稿基线
发布产物
与b11776一同发布的还有各平台预编译包,覆盖macOS arm64/x64、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16)、Android、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)等。发布说明标注macOS启用KleidiAI的arm64构建与openEuler产物为DISABLED。
- Linux arm64提供面向Snapdragon的CPU、Adreno GPU、Hexagon NPU包
- Windows提供arm64的OpenCL Adreno包
- UI以单独压缩包发布