开源litellm Releases·原文 2026年11月4日

LiteLLM发布v1.108.0,新增Bing搜索、Vertex AI Interactions与Gemini自动路由

该版本为Docker镜像附带cosign签名验证说明,并加入Grounding with Bing Search搜索提供方、原生Vertex AI Interactions API支持、Azure AI Foundry全路由Entra ID/OAuth认证等改动。

AI解读:LiteLLM发布v1.108.0,发布说明列出约百项修复、功能和重构,发布者为litellm-release[bot]。

新增能力包括:Grounding with Bing Search(bing_grounding)作为搜索提供方、原生Vertex AI Interactions API支持、为Google Interactions API请求追踪成本与花费、Azure AI Foundry每条路由支持Entra ID/OAuth认证、UI新增Gemini Family自动路由预设,以及为自动路由按组配置支持的reasoning effort上限。

发布说明提示所有LiteLLM Docker镜像均使用cosign签名;本次版本用commit e82a3c6引入的密钥签名。官方建议用固定commit hash验证,也提供release tag方式,后者依赖仓库的tag保护规则。

修复涵盖Anthropic /v1/messages桥接中的document块与流式服务端工具处理、Bedrock空assistant delta、Together AI默认端点由api.together.xyz改为api.together.ai、S3对象键编码、SCIM团队成员关系保留、RedisCluster连接恢复等。

有两处标注为破坏性或行为变更:refactor(utils)! 删除prompt_token_calculator;fix(cerebras)! 在get_supported_openai_params中增加max_retries和extra_headers。另有发布说明提到litellm-enterprise 0.1.59 -> 0.1.60、litellm 1.99.0 -> 1.100.0 的版本号提升。

LiteLLM发布v1.108.0。发布说明由litellm-release[bot] 发布,主体内容是一份约百项条目的变更列表,涵盖新功能、修复与重构。

版本级的新增功能包括:将Grounding with Bing Search(bing_grounding)加入为搜索提供方;为Vertex AI增加原生Interactions API支持;为Google Interactions API请求追踪成本与花费;在Azure AI Foundry的每条路由上支持Entra ID / OAuth认证;UI增加Gemini Family自动路由预设;以及router按组配置支持的reasoning effort及其上限。

镜像签名与验证方式

发布说明开头说明:所有LiteLLM Docker镜像均使用cosign签名,本版本使用commit e82a3c6引入的密钥签名。官方推荐用固定commit hash验证,理由是该hash具有密码学不可变性;也提供用release tag v1.108.0验证的便捷方式,但说明这依赖仓库的tag保护规则。

验证命令指向ghcr.io/berriai/litellm:v1.108.0,预期输出为cosign claims已验证、签名已对照指定公钥验证。

路由、认证与搜索相关改动

路由与认证侧的改动包括:Azure AI Foundry各路由支持Entra ID / OAuth;自动路由在尚无流量时也会出现在用量选择器中;complexity_router对分类器上下文块做整体边界限制;router在部署校验和acompletion中从api_base解析提供方;支持anthropic_messages路由类型的中途流式回退;按组配置支持的reasoning effort上限。

搜索与外部服务侧:新增bing_grounding搜索提供方;为Together AI补充缺失的serverless模型成本映射;Together AI的默认端点改为api.together.ai;Vertex AI新增原生Interactions API支持。

  • feat(search):新增Grounding with Bing Search(bing_grounding)作为搜索提供方
  • feat(vertex_ai):新增原生Vertex AI Interactions API支持
  • feat(azure_ai):每条Azure AI Foundry路由支持Entra ID / OAuth认证
  • feat(ui):新增Gemini Family自动路由预设
  • feat(router):按组配置支持的reasoning effort与最高档位

协议兼容与修复

Anthropic相关修复集中在 /v1/messages桥接:校准output_format schema中枚举与声明类型、在Claude 4.6模型上保留遗留的thinking budget_tokens、传递tool_result document块与用户内容document块、缓冲携带服务端执行工具的流式响应,使检索工具调用不抵达客户端。

其他修复包括:Bedrock在finish_reason分块后不再输出空assistant delta;stop预期 4xx响应导致failure logging的CPU占用过高;SCIM组响应返回user_id作为members[].value,以及在POST /Users不带groups时保留既有团队成员关系;缓存改用redis-py上的上游RedisCluster并支持逐连接恢复;S3对象键只做一次百分号编码以保证签名与发送URL一致。

  • fix(anthropic):在 /v1/messages桥接中传递tool_result与user-content document块
  • fix(bedrock):finish_reason分块后不再发空assistant delta
  • fix(together_ai):默认端点由api.together.xyz改为api.together.ai
  • fix(s3_v2):对象键只做一次百分号编码,保证签名URL与发送URL一致

破坏性变更与版本号

发布说明中有两条带感叹号的标注:refactor(utils)! 删除prompt_token_calculator,同时另有一项修复让prompt_token_calculator重新统计Claude模型;fix(cerebras)! 在get_supported_openai_params中增加max_retries和extra_headers。

发布说明还列出一条chore:litellm-enterprise从 0.1.59 升到 0.1.60,litellm从 1.99.0 升到 1.100.0。发布说明未给出各改动的效果数据或适用范围说明。

信息来源

litellm Releases原始来源