开源litellm Releases·原文 2026年10月28日

LiteLLM发布v1.109.0-dev.1,新增流式中途回退与MCP OAuth等改动

BerriAI发布LiteLLM v1.109.0-dev.1,更新说明列出聊天补全流式中途回退、代理默认拒绝的agent访问、MCP无状态协议能力、火山引擎Doubao-Seedance视频生成接入等一批功能与修复;Docker镜像以cosign签名,发布方给出两种校验方式。

BerriAI发布LiteLLM v1.109.0-dev.1,发布说明按惯例列出镜像签名校验方法与本次合并的改动清单。

发布说明称所有LiteLLM Docker镜像均用cosign签名,本版本使用提交e82a3c6引入的密钥;推荐用固定提交哈希校验,也可用发布标签校验,后者依赖仓库的标签保护规则。

功能新增:路由回退、代理权限与MCP

更新列表中标注feat的条目包括:聊天补全的流式中途回退继续(PR #41127)、代理侧agent_access_default_deny以实现最小权限的agent访问(PR #43979)、MCP的已验证无状态协议能力(PR #46264)。

UI侧也有多项新增:聊天界面默认开启(PR #46918)、围绕单一输入框与检查器重做playground聊天(PR #46934)、为OAuth Delegate与True Passthrough的MCP服务器增加Authorization URL、Token URL与Scopes字段(PR #46941)。

  • feat(router):聊天补全流式中途回退继续,PR #41127
  • feat(proxy):agent_access_default_deny默认拒绝的agent访问,PR #43979
  • feat(mcp):启用已验证的无状态协议能力,PR #46264
  • feat(ui):聊天UI默认开启,PR #46918
  • feat(ui):为MCP OAuth服务器增加授权URL、令牌URL与Scope字段,PR #46941

接口与计费相关修复

发布说明列出多项与token计数、计费和流式响应有关的修复:Anthropic格式请求在OpenAI与Gemini的count_tokens中按 /v1/messages推理转换方式计数(PR #46759、#46767);Gemini的count_tokens应用context_management编辑(PR #46843);Responses API的图片生成与web搜索用量按工具用量成本计费(PR #41877)。

另有代理流式响应每 50 毫秒交还事件循环一次、而非在整个缓冲流期间占住(PR #46925);无Redis时的预算支出按key保存在进程内而非逐请求排队(PR #46831)。

  • count_tokens对Anthropic格式请求的换算修复,覆盖OpenAI与Gemini路径
  • Responses API图片生成与web搜索计入工具用量成本
  • 代理流式响应每 50 毫秒让出事件循环
  • 无Redis时预算支出按key本地持有

破坏性变更标注

改动清单中多条标题带感叹号,发布方将其标为破坏性变更:Terraform改为把additional_drop_params发送给代理,而不是删除其指名的键(PR #46782);Bedrock透传返回AWS形状的错误,以便AWS SDK读取code与message(PR #46522);代理count端点改为按源API形状返回错误,而非静默本地计数(PR #46815)。

此外还有:提示词专用的token_counter请求在设置call_endpoint时随提供方计数(PR #46839);代理尊重调用方传入的litellm_session_id作为花费日志的session_id(PR #44199);Bedrock在fake streams上保留reasoning、thinking块与json_mode的finish_reason(PR #46863)。

  • Terraform:additional_drop_params不再删除键,改为传给代理
  • Bedrock透传:返回AWS形状错误
  • 代理count端点:按源API形状返回错误
  • call_endpoint下的token_counter请求随提供方计数
  • 花费日志采用调用方的litellm_session_id

其他纳入的模型与提供方改动

成本映射新增baseten Muse Spark Open与Nemotron 3.5 Super VL、together_ai的reflection/Beam-1.0-501B-A23B、baseten与nebius的Reflection Beam 1.0行;同时为claude-opus-5和gpt-5.6-terra加入github_copilot弃用日期。

提供方侧还有Crusoe基础URL更新(PR #33121)、Bedrock按AWS报价索引回填Priority与Batch价格(PR #46987)、OpenAI的gpt-transcribe路由到GPT音频转写配置(PR #44021)。

  • 成本映射新增多个模型行,并为两个模型标注github_copilot弃用日期
  • Crusoe基础URL更新到当前端点
  • Bedrock回填Priority与Batch价格
  • gpt-transcribe路由到GPT音频转写配置

信息来源

litellm Releases原始来源