llama.cpp b11756修复Anthropic /v1/messages转换丢失id_slot
llama.cpp在b11756版本中让服务端把Anthropic /v1/messages请求里的id_slot传入内部OpenAI风格请求体。此前该参数在转换中被遗漏,依赖固定槽位复用KV缓存的代理会退回自动选槽,在混合/循环模型上触发完整重新预填充。
llama.cpp发布b11756,服务端在把Anthropic /v1/messages请求转换为内部OpenAI风格请求体时,开始传递id_slot参数,相关改动对应PR #28554。
id_slot此前在 /v1/messages转换中被遗漏
提交说明称,server_chat_convert_anthropic_to_oai会从Anthropic请求中复制一小组常见参数的白名单到内部OAI风格body,id_slot不在其中。其他所有补全端点都遵循id_slot,而把会话固定到持有其KV缓存的槽位的代理,在 /v1/messages上也需要同样的行为。
提交说明给出的后果是:缺少id_slot时,服务端会静默回退到自动槽位选择,并且在混合/循环模型上付出一次完整的重新预填充。此次改动将id_slot纳入该转换路径。
测试先加后删,构建产物照常发布
提交说明记录,作者曾添加一个测试,断言设置了id_slot的请求由该槽位服务,并通过GET /slots观察;提交中随后出现“rm test”一步,测试被移除。改动由Xuan Son Nguyen参与合著。
b11756同时发布多平台构建产物,覆盖macOS(arm64、x64)、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL)、Linux arm64骁龙、Android、Windows及UI包。发布页标注macOS arm64的KleidiAI版本与openEuler构建为DISABLED。