LiteLLM发布v1.102.0-dev.2，新增OCR适配器与按TTFT百分位路由
该开发版仍以cosign签名验证为基础，更新集中在MCP授权、消费追踪、Terraform资源与路由策略等修复和功能上。
AI解读：这次发的是LiteLLM的v1.102.0-dev.2开发版，不是稳定版。对正在用LiteLLM做多模型网关的团队来说，真正值得看的是它一次塞进了大量修复和一个新功能，其中OCR模块和按首字延迟百分位路由是较实的功能变化。
日常使用更多会碰到的是各种边角修复，比如MCP工具调用的授权和报错日志、消费日志里会话令牌的别名恢复、以及流式返回空choices时不再抛 500。这些修复对线上稳定性有直接影响，但官方未公布性能数据，效果仍要看实际部署。
Docker镜像继续用cosign签名，官方建议用不可变的commit hash验证，用release tag验证更方便但依赖仓库的tag保护规则。
LiteLLM发布v1.102.0-dev.2开发版，Docker镜像继续使用cosign签名，官方推荐通过固定commit hash验证签名，也可用release tag验证。
该版本的功能更新包括按TTFT百分位路由、新增OCR核心基础和Mistral适配器、在 /cost/estimate中为缓存和推理token定价、以及让Claude Code通过Claude风格id列出网关模型并接受请求。
修复覆盖MCP授权与日志、消费追踪、Terraform资源状态、Azure AI定价、Bedrock请求签名、Redis熔断器日志、以及多个模型路由和格式转换问题。
签名验证与发布版本
LiteLLM所有Docker镜像均使用cosign签名，每个release使用commit 0112e53中引入的同一把密钥签名。官方推荐使用固定commit hash验证，因为哈希不可变；也可用release tag验证，但依赖仓库的tag保护规则。
验证命令为cosign verify --key https://raw.githubusercontent.com/BerriAI/litellm/0112e53046018d726492c814b3644b7d376029d0/cosign.pub ghcr.io/berriai/litellm:v1.102.0-dev.2，预期输出会显示cosign claims已验证且签名与指定公钥匹配。
- 镜像使用cosign签名，所有release共用同一把密钥
- 推荐用commit hash 0112e53验证，release tag验证依赖tag保护规则
新增功能
路由层面新增按TTFT百分位路由的支持；成本估算接口 /cost/estimate开始为缓存token和推理token定价；OCR模块加入了核心基础和Mistral适配器。
代理侧新增一项能力：向Claude Code以Claude风格id列出网关模型，并在这些id上接收请求。此外，MCP的per-user OAuth凭据现在绑定到经过认证的LiteLLM调用者，Gateway自有的MCP服务器认证也加入了质询和范围控制。
基础设施方面，Helm和Terraform支持按每pod的RPS和TPS扩展网关；GCP Cloud Run网关加入Prometheus指标sidecar；代理可通过容器内pgbouncer在worker间共享数据库连接，并让pgbouncer跟随轮换的RDS IAM和Azure Entra token。
Terraform方面，litellm_team支持自定义team_id，litellm_key的model_max_budget改为按模型的BudgetConfig对象发送。
认证方面新增disable_env_credential_login设置，并在管理UI中给出警告。CLI新增lite configure claude和lite unconfigure claude命令。
- 路由：支持按TTFT百分位路由
- OCR：新增核心基础与Mistral适配器
- 成本：/cost/estimate为缓存和推理token定价
- Claude Code：以Claude风格id列出网关模型并接收请求
- 基础设施：按每pod RPS/TPS扩缩容、pgbouncer共享数据库连接
主要修复
MCP相关修复较集中：保留代理日志和授权覆盖范围、记录代理工具分派异常、在传输层暴露连接失败、在工具集更新时尊重显式null、当key未授予任何MCP服务器时以 403 拒绝initialize、在调试头中报告解析后的上游认证、以及编辑连接设置时刷新工具预览。
消费追踪和性能方面，修复了从spend日志恢复会话令牌的key alias，pipeline spend计数器增量合并为每请求一次Redis调用，每worker的SGR upsert合并为每flush一条语句，并对并发的key和spend-counter数据库查询做限流以停止Prisma连接池抖动。
路由和格式转换修复包括：auto-router层级切换时清除加密推理而不是返回 503，roll back #40047 以恢复模型更新时对显式null的处理，在JWT认证路径上应用团队模型别名，按路由器自身的解析器解析路由候选id，以及去除OpenAI验证器无法编译的工具schema正则。
其他修复涉及：Azure AI为七个Foundry目录名称定价并只收一次模型路由器费用，Bedrock在所有异步路径上不在事件循环内签名请求，databricks保留OpenAI兼容网关模型的顶层reasoning_content，以及token_counter在HuggingFace计数时释放GIL并限制每字符串的精确计数。
- MCP：未授权时initialize返回 403，保留授权覆盖范围
- 性能：spend计数器合并为每请求一次Redis调用
- 路由：auto-router层级切换时清除加密推理而非返回 503
- Bedrock：异步路径不在事件循环内签名请求
模型与定价注册表更新
模型注册表滚动更新涉及多个供应商的定价和模型名称，包括Bedrock gpt-6-astra、gpt-image-2.5、Cohere rerank 4、Vertex Grok 4.3/4.6/4.20、Gemini 3.5 audio、OpenAI网络搜索费用、xAI Imagine video、Lyria 3.5、Voyage、ChatGPT GPT-5.5/5.6、Bedrock Mantle以及Scaleway日期。
另有一次注册表审计于 2026-09-10 合并开放定价PR，并对model_prices做了相应调整。这些条目的具体价格来源未在发版说明中逐项列出。
- 涉及Bedrock、Cohere、Vertex、OpenAI、xAI、Voyage、ChatGPT等供应商
- 注册表审计日期为 2026-09-10，合并了开放定价PR