LiteLLM发布v1.109.0-rc.1:修复代理错误类型、成本核算与路由等多项问题
LiteLLM发布候选版本v1.109.0-rc.1,Docker镜像以cosign签名,附提交哈希与标签两种校验方式;更新日志列出代理、成本核算、流式、路由、Bedrock、Azure等多处修复与新增。
LiteLLM发布v1.109.0-rc.1(候选版本)。发布页由litellm-release[bot] 发布,说明所有LiteLLM Docker镜像均以cosign签名,本次发布使用提交e82a3c6中引入的密钥签名。
更新日志按“What's Changed”列出构建、代理、成本核算、流式、路由、提供商适配、计费与UI等多类改动,部分条目带感叹号,表示对使用方可见的行为变更。
镜像签名校验方式
发布说明给出一条基于固定提交哈希的cosign verify命令,指向raw.githubusercontent.com/BerriAI/litellm/e82a3c.../cosign.pub,镜像为ghcr.io/berriai/litellm:v1.109.0-rc.1;说明称提交哈希具备密码学不可变性,是确认签名密钥的最强方式。
另一条命令用发布标签v1.109.0-rc.1解析同一公钥;发布说明称该仓库的标签受保护,此方式更易读,但依赖标签保护规则。预期输出包含cosign claims已验证、签名已针对指定公钥验证两项检查。
- 推荐:cosign verify --key https://raw.githubusercontent.com/BerriAI/litellm/e82a3c646908ba0a6ee0beddc4310d7a6cac4065/cosign.pub ghcr.io/berriai/litellm:v1.109.0-rc.1
- 便捷:用标签v1.109.0-rc.1路径下的cosign.pub执行同一校验
带感叹号的行为变更
多项条目标注为行为变更:代理服务器在proxy-server、auth、spend、key health路由上不再返回字面字符串 "None" 作为错误类型和参数;路由在请求体与部署自身model_id冲突时保留部署的值;Gemini Live改为在首个内容时发送setup,使session.update设置生效。
其他行为变更包括:Responses桥接在各路径上以相同方式发送dict形式的reasoning_effort;MCP自动执行的流式聊天补全对两次调用分别计费;Anthropic与Vertex AI的Claude路由自动添加compaction、thinking显示和工具变更beta;OpenRouter在开启check_provider_endpoint时为openrouter/* 列出实时目录。
- 代理路由错误字段:不再出现字面字符串 "None"
- 路由:部署自身model_id优先于请求体
- 路由:运行时更新router设置后应用content_policy_fallbacks
- 代理:共享处理器错误按路由catch-all的方式标注
- A2A:按completion-bridge代理自身价格计费
成本核算与计费修复
成本相关改动覆盖PDF页面按OpenAI与Azure实际计费方式定价、批量请求返回真实batch token数、响应命名了未定价模型时按请求模型的费率计费、供应商上报usage.cost时在各路径上按其计费、修复NaN或无穷大成本卡住每日支出写入等问题。
成本表中新增或调整了若干条目,例如fireworks ultramarine 1 flash us、deepseek v4 flash、openai gpt-6-rosalind、baseten joey-1、Cohere Rerank 5、Deepgram Aura-1与Aura-2语音费率,以及Gemini批量与Azure Astra flex档位。
- 代理按模型行写入后在所有worker上立即生效
- 删除的key会从每个worker的鉴权缓存中清除
- 按通配key与团队模型允许列表限定 /health范围
提供商与流式修复
提供商侧改动包括:新增CLF AI Gateway为兼容OpenAI的提供商并带十个模型;Vertex AI以Anthropic原生行结构批量处理Claude模型;Bedrock对无Invoke提供商的模型id路由到Converse;Mistral转发prompt_cache_key;Anthropic把PDF的image_url内容作为document块发送;Z.AI支持response_format与max_completion_tokens。
流式方面,n>1 的聊天流按每个choice单独重建;带logprobs的流在结束块正常收尾;停止在每个流式块上让pydantic抛出被捕获的AttributeError;流断开前已发送的用量仍计费。
- Ollama:在ollama_chat请求中转发assistant工具调用id
- vLLM:两条 /vllm路由都把透传key作为bearer发送
- SGLang上下文窗口溢出归类为对应异常
- WebSocket:Responses帧按所选guardrails执行,并按客户端文本为会话计费
其他改动与适用范围
更新日志还列出重构与测试项:在 21 个文件中用明确类型替换Any、Rust端引入SecretValue存储Redis凭据、代理数据库生命周期交由单一lifespan所有者、数据库仓储改为按仓储依赖注入、CI使用sccache缓存Rust编译、移除已弃用的旧Usage页面、把策略与guardrails监控文本迁移到i18n。
以上内容均为发布说明所列条目,发布页未给出这些修复的独立评测或线上效果数据;本次版本号为候选版本,使用方需自行确认是否已切换到该版本及其镜像签名。
- 版本:v1.109.0-rc.1
- 性质:候选版本,非稳定版
- 签名:cosign,密钥随提交e82a3c6引入