开源vLLM Releases·原文 2026年10月18日

vLLM v0.32.0发布:新增 /v1/systemone结构化决策端点,MRV2在ROCm上成为默认

该版本包含 363 名贡献者的 814 次提交,其中 121 人为新贡献者。发布说明列出结构化决策端点、通用hf工具与推理解析器、低精度KV cache扩展以及多项破坏性变更。

AI解读:vLLM发布v0.32.0,包含 814 次提交、363 名贡献者,其中 121 名为新贡献者。

新增POST /v1/systemone端点,发布说明称其在结构化状态上回答choice、noul、score类问题,默认启用,并支持Cloudflare/clef-omni、LiquidAI/d1-3B和DiffusionGemma。

新增hf工具与推理解析器(--tool-call-parser hf、--reasoning-parser hf),按checkpoint的response_template解析,Python与Rust前端均支持。

低精度KV cache扩展:NVFP4覆盖SM8x、SM12x、SM90及SM12x的XQA decode;GLM-5.x在SM100默认FP8 KV cache,发布说明称吞吐提升 2.3-5.5%。

破坏性变更包括停止支持Python 3.10、默认限制CORS来源、要求transformers>=5.16.1 与tokenizers>=0.23.2、移除cascade attention与mamba_cache_mode="all" 等。

vLLM发布v0.32.0。发布说明(作者khluu)称该版本包含 814 次提交,来自 363 名贡献者,其中 121 名为新贡献者。

新增 /v1/systemone与hf解析器

发布说明介绍新端点POST /v1/systemone,在结构化状态上回答choice、noul和score类问题(#59299),并称其默认启用(#60677、#60696)。同一端点也运行在Cloudflare/clef-omni(#61064)、LiquidAI/d1-3B(#60676)和DiffusionGemma(#60466)上。

新的hf工具与推理解析器通过 --tool-call-parser hf、--reasoning-parser hf启用,读取checkpoint的response_template,发布说明称随模型附带该模板时无需模型专用解析器(#58604、#58602),Python和Rust前端均支持(#59005)。

  • 端点:POST /v1/systemone,默认启用。
  • 已列出的适配模型:Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma。
  • hf解析器依赖checkpoint自带response_template。

低精度KV cache的覆盖范围

发布说明列出NVFP4 KV cache的新硬件范围:SM8x与SM12x(#46963)、SM90(#60620)、SM12x上的XQA decode(#60452),以及在SM100上用于MiniMax-M3稀疏注意力(#59300)。

GLM-5.x在SM100上默认使用FP8 KV cache,发布说明称吞吐提升 2.3-5.5%(#60140、#60281);SM90上的fp8_ds_mla使GLM-5.3-Flash输出吞吐最高提升 31%(#59246);ROCm新增 4-bit ultraquant_4bit KV cache,发布说明称密度约为FP8的 2 倍(#57057)。

  • 上述百分比均为发布说明中的单项数据,未给出独立评测条件。
  • MRV2现为ROCm上所有模型的默认后端(#56360)。

破坏性变更与安全修复

版本停止支持Python 3.10(#60402),默认CORS来源被收紧(#61009),依赖提升至transformers>=5.16.1 与tokenizers>=0.23.2(#57387、#59796)。被移除的内容包括torch.compile序列并行与AsyncTP pass(#60517)、cascade attention(#61126)、mamba_cache_mode="all"(#58997)。max_tokens不再是上下文窗口预留量(#57035),Responses API的推理流事件被重命名(#59652)。

安全修复对应三个GHSA编号:聊天模板资源耗尽(GHSA-4hhp-h66f-j5j7,#50300)、tokenizer max_token_id越界(GHSA-q97c-p368-75c4,#59491)、P2P ZMQ socket耗尽(GHSA-frvg-qw88-hww9,#51504)。发布说明还提到不可信图片被限制为栅格格式、共享内存多模态缓存句柄签名、拒绝嵌套超过 64 层的JSON schema。

  • 升级前需检查Python 3.10环境、CORS配置和自定义chat template。
  • 安装方式含PyPI(CUDA 13.0)、ROCm、XPU的wheel,以及CUDA 13.0/12.9、ROCm、CPU、XPU的Docker镜像。

信息来源

vLLM Releases原始来源