vLLM v0.33.0发布:CUDA 12.9制品停止发布,默认改用CUDA 13.0
该版本包含来自 389 名贡献者的 927 次提交,新增Reflection Beam-1.0等模型支持,并升级至PyTorch 2.14;发布说明称CUDA 12.9的wheel和镜像不再发布。
AI解读:对使用预编译CUDA制品的部署方,最直接的变化是v0.33.0只提供CUDA 13.0的release wheel和镜像,此前的 -cu129及 -cu129-ubuntu2404镜像不再发布;发布说明建议改用默认CUDA 13.0制品。这意味着仍锁定CUDA 12.9运行环境的用户无法直接升级到该版本的官方制品。
版本升级到PyTorch 2.14.0,并搭配torchvision 0.29.0和Triton 3.8.0;同时CUDA wheel现在与libtorch保持ABI稳定。发布说明未给出这些变更对现有自定义算子或扩展兼容性的具体影响范围。
ROCm方面默认镜像和wheel迁移到ROCm 10.0,ROCm 7.2仍以 -rocm72后缀发布,安装时可选择对应索引地址;XPU、CPU制品也在同一版本提供。
发布说明列出多项性能数字,均来自各PR的基准测试,而非独立评测,例如DFlash/DSpark不再预留draft槽位后,DeepSeek-V4.1-Flash在GB300上的输出从 1373 tok/s提升到 3390 tok/s。
破坏性变更包括移除Medusa和MLP speculator、移除旧版Ray编译图执行器、弃用 --mamba-cache-mode,生成暂停期间收到的请求改为返回HTTP 503,NIXL连接器要求 1.5 或更新版本。
vLLM发布v0.33.0,发布说明称该版本包含 927 次提交、来自 389 名贡献者,其中 122 人为新贡献者。
该版本将vLLM升级到PyTorch 2.14.0,搭配torchvision 0.29.0与Triton 3.8.0,并停止发布CUDA 12.9的wheel和 -cu129系列镜像,release制品仅提供CUDA 13.0。
新增模型支持包括Reflection Beam-1.0(501B MoE、23B激活)及其DFlash2 drafter、Yandex AliceAI-Foundation-80B-A3B、Recursive Flint(40B MoE、2.5B激活)、Muse Spark Open、Step-5 Preview、NVIDIA Alpamayo 2 Super、Nemotron-Labs Dory1.0-4B、Nemotron Parse 3.5、MiniCPM-OCR 1.0、Domyn Edge和ColUltraVBERT等。
制品与运行环境变化
发布说明称CUDA 12.9的wheel以及 -cu129、-cu129-ubuntu2404镜像不再发布,用户应改用默认的CUDA 13.0制品。CUDA wheel现在与libtorch保持ABI稳定。
新增vllm/vllm-openai:v0.33.0-efa镜像,覆盖x86_64与aarch64,打包AWS EFA库和Mooncake传输引擎的EFA构建,用于支持EFA的EC2实例上的KV传输和多节点服务。每个发布镜像同时以更短的vllm/vllm名称发布,例如vllm/vllm:v0.33.0、vllm/vllm:v0.33.0-efa和vllm/vllm:v0.33.0-rocm。
ROCm默认镜像和wheel迁移到ROCm 10.0,ROCm 7.2仍以 -rocm72后缀发布;同时提供CPU与XPU制品。
- CUDA 13.0默认安装:pip install vllm
- ROCm 10.0通过wheels.vllm.ai/rocm/0.33.0/rocm100索引安装
- XPU需指定vLLM XPU索引和PyTorch XPU索引,并使用unsafe-best-match索引策略
模型支持与推理优化
发布说明列出的新模型支持中,Reflection Beam-1.0获得day-0支持,包含DFlash2 drafter、融合的Blackwell kernel以及beam推理与工具解析器;Step-5 Preview运行在SM100上并支持LoRA;Nemotron Parse 3.5在MRV2上带有MTP proposer。
推测解码方面新增XPress refiner,用于DFlash、DSpark等块扩散drafter;FLy是一种可选的损失性验证策略,发布说明称在MI355X和B300上解码吞吐为 1.04 至 1.31 倍。DFlash/DSpark不再在token预算中预留draft槽位,PR基准中DeepSeek-V4.1-Flash加DSpark在GB300上从 1373 tok/s提升到 3390 tok/s。
GLM-5.3-Flash默认使用FP8 KV cache,PR基准中端到端吞吐提升 9.8%;PaddleOCR-VL批量视觉编码器在PR基准中吞吐提升 34% 至 85%。上述数字均来自发布说明引用的单项PR基准。
- 量化draft lm_head(draft_lm_head_quantization)在并发 1 时解码提升 18%(发布说明数字)
- lookahead block hashes默认开启,用于EAGLE/MTP前缀缓存保留最后一个块
- DeepSeek-V4/V4.1的MXFP4专家在Hopper上通过Humming以block FP8运行,发布说明称 4x H200解码提升 9% 至 21%
接口、可靠性与破坏性变更
新增OpenAI兼容的 /v1/decisions端点,对支持的生成模型默认开启;/v1/embeddings支持token embeddings和可选的late chunking;/inference/v1/generate支持output_mode="derender"。
可靠性方面加入引擎与worker进程的看门狗,可转储卡住进程的堆栈;TP大于 1 时支持worker并发启动,发布说明称TP8下约节省 50 秒。
破坏性变更包括:移除Medusa和MLP speculator;移除旧版Ray编译图执行器;弃用 --mamba-cache-mode;生成暂停期间收到的请求返回HTTP 503;NIXL连接器要求NIXL 1.5或更新版本;LM Format Enforcer与 --ir-op-priority弃用。
- Rust前端补齐多项参数与指标能力,长对话不再返回HTTP 500,不支持的flag在启动时报错
- 安全项包括下载与解码媒体字节的每请求预算,以及speculator checkpoint元数据不能引用本地verifier路径