11 月 16 日(UTC,北京时间 17 日凌晨),vLLM 发布 v0.34.0:1061 次提交、412 位贡献者(其中 120 位新贡献者)。主线变化是可扩展 KV 缓存默认开启——按 CUDA graph 捕获与预热之后的实际空闲显存来定 KV 缓存大小,同一张卡能装下更长的上下文:MiniMax-M3 在 H200 上从 433k 提到 672k token(+55%,本刊计算)。代价与四项破坏性变更同样醒目,自建推理服务升级前先看完本篇清单。本站此前报道过 vLLM 与蚂蚁开源的 Humming 量化内核,本篇讲 0.34.0 的显存账与升级清单。
机制(官方 Release Notes):引擎在 CUDA graph 捕获与预热完成后,按实际空闲显存确定 KV 缓存大小;用 cuMem*/hipMem* 预留虚拟地址、按需提交物理页,避免启动时一次性占满。配套变更:gpu_memory_utilization 默认值改为 1.0,官方建议多数场景直接移除该参数、让引擎自动定容(#56492)。
| 模型 · 平台 | KV 容量变化 | 口径 |
|---|---|---|
| MiniMax-M3 · H200 | 433k → 672k token(+55%) | 官方数字,+55% 为本刊计算 |
| Qwen3-32B · GB200 | 103.1 → 113.0 GiB(+9.5%) | 官方口径 |
| Qwen3-235B-A22B-FP8 · TP4 | +8.2% | 官方口径 |
| DeepSeek-V4-Flash · TP4 | +4.1% | 官方口径 |
官方汇总:多数模型 KV 缓存 +4–10%(Qwen3-8B +7.5%);引擎初始化(不含权重加载)提速 21–34%,Qwen3-235B 从 76 秒降到 50 秒(提速约 34%,本刊计算)。对私有化部署,这意味着同一张卡可以服务更长上下文或更高并发——显存是本地推理最贵的资源。
官方同时披露:部分 H200 上的模型在并发 128 下,TPOT(每输出 token 延迟)上升 6–18%——缓存更大与调度开销之间存在权衡。官方给出两条回退路径:--gpu-memory-utilization 0.9,或 --no-enable-extensible-kv-cache 关闭新机制。对延迟敏感的在线服务,先灰度、再全量,别直接在生产滚动升级。
性能侧(官方口径):Step5 NVFP4 MoE 在 TRTLLM-Gen、4×GB200 上解码最高 1.95 倍(#65152);GLM-5.3-Flash 吞吐 1.6 倍;GLM-5.3 长 prompt 首 token 延迟(TTFT)改善 1.24–1.40 倍。推测解码:suffix decoding 迁移到 MRV2(#60339)、新增自定义推测方法插件 API register_speculative_method(#63205)、draft 模型 KV dtype 跟随目标模型(#65198)、MRV2 draft CUDA graphs(#60989)、XPress 自适应验证(#65175)。新增 10 个模型支持,含 Mistral Large 4、MiniMax-M3.1-Flash、Liquid AI LFM3 家族与多款语音模型。
先盘配置,再灰度,留回退
来源:vLLM GitHub Release v0.34.0(2026-11-16 23:22 UTC 发布,1061 次提交/412 位贡献者)及官方 Release Notes(含各 PR 编号)。性能与容量数据均为官方发布口径;+55% 与初始化提速 34% 为按官方数字的本刊计算。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。
您的看法、追问、以及同行实践里的对照——都欢迎写下来。留下邮箱或手机号,我们会回复;留言审核后公开展示在本页,精选观点我们还会写进后续动态。
正在加载留言…
[vLLM v0.34.0 发布:同一张卡 KV 缓存最高 +55%,四项破坏性变更升级前先看清](https://javis.org.cn/news-2026-11-19-vllm-034-kv-cache.html)(机悟 JAVIS,2026-11-19)选一条最费人的流程,看看现有设备能跑什么、要补什么、怎么验——提交后 1 个工作日内联系您;也可以直接加下方企业微信,对接更快。
工作人员将在 1 个工作日内与您联系。急事请直接扫码加企业微信,备注「单位 + 需求」。
加企业微信更快对接