首页 / 行业动态 / 正文

2026-11-19本地推理 · 开源生态

vLLM v0.34.0 发布:同一张卡 KV 缓存最高 +55%,四项破坏性变更升级前先看清

11 月 16 日(UTC,北京时间 17 日凌晨),vLLM 发布 v0.34.0:1061 次提交、412 位贡献者(其中 120 位新贡献者)。主线变化是可扩展 KV 缓存默认开启——按 CUDA graph 捕获与预热之后的实际空闲显存来定 KV 缓存大小,同一张卡能装下更长的上下文:MiniMax-M3 在 H200 上从 433k 提到 672k token(+55%,本刊计算)。代价与四项破坏性变更同样醒目,自建推理服务升级前先看完本篇清单。本站此前报道过 vLLM 与蚂蚁开源的 Humming 量化内核,本篇讲 0.34.0 的显存账与升级清单。

一、可扩展 KV 缓存默认开启:把显存「挤」进缓存

机制(官方 Release Notes):引擎在 CUDA graph 捕获与预热完成后,按实际空闲显存确定 KV 缓存大小;用 cuMem*/hipMem* 预留虚拟地址、按需提交物理页,避免启动时一次性占满。配套变更:gpu_memory_utilization 默认值改为 1.0,官方建议多数场景直接移除该参数、让引擎自动定容(#56492)。

模型 · 平台KV 容量变化口径
MiniMax-M3 · H200433k → 672k token(+55%)官方数字,+55% 为本刊计算
Qwen3-32B · GB200103.1 → 113.0 GiB(+9.5%)官方口径
Qwen3-235B-A22B-FP8 · TP4+8.2%官方口径
DeepSeek-V4-Flash · TP4+4.1%官方口径

官方汇总:多数模型 KV 缓存 +4–10%(Qwen3-8B +7.5%);引擎初始化(不含权重加载)提速 21–34%,Qwen3-235B 从 76 秒降到 50 秒(提速约 34%,本刊计算)。对私有化部署,这意味着同一张卡可以服务更长上下文或更高并发——显存是本地推理最贵的资源。

二、代价:部分场景每 token 延迟上升

官方同时披露:部分 H200 上的模型在并发 128 下,TPOT(每输出 token 延迟)上升 6–18%——缓存更大与调度开销之间存在权衡。官方给出两条回退路径:--gpu-memory-utilization 0.9,或 --no-enable-extensible-kv-cache 关闭新机制。对延迟敏感的在线服务,先灰度、再全量,别直接在生产滚动升级。

三、四项破坏性变更:升级清单

  • Model Runner V1 移除(#63373):设置 VLLM_USE_V2_MODEL_RUNNER=0 启动会直接失败;自定义 V1 logits processor 需迁移到 vllm.v1.worker.gpu.sample.logits_processor。
  • 默认 --block-size 从 16 改为 64(#63231);ROCm paged attention 仍为 16。显式写过 block-size 的配置不受影响,依赖默认值的要复核。
  • gpu_memory_utilization 默认 1.0(#56492):显式写 0.9 的旧配置行为不变,但官方建议移除该参数以启用自动定容。
  • ROCm 7.2 制品下架(#61939),改用 ROCm 10.0;依赖升级为 huggingface_hub>=2.0.0。AMD 卡用户升级前先核镜像与驱动。

四、性能与推测解码:顺手的大版本

性能侧(官方口径):Step5 NVFP4 MoE 在 TRTLLM-Gen、4×GB200 上解码最高 1.95 倍(#65152);GLM-5.3-Flash 吞吐 1.6 倍;GLM-5.3 长 prompt 首 token 延迟(TTFT)改善 1.24–1.40 倍。推测解码:suffix decoding 迁移到 MRV2(#60339)、新增自定义推测方法插件 API register_speculative_method(#63205)、draft 模型 KV dtype 跟随目标模型(#65198)、MRV2 draft CUDA graphs(#60989)、XPress 自适应验证(#65175)。新增 10 个模型支持,含 Mistral Large 4、MiniMax-M3.1-Flash、Liquid AI LFM3 家族与多款语音模型。

机悟建议:私有化推理服务升级四步

先盘配置,再灰度,留回退

  • 先盘配置:检查是否在用 VLLM_USE_V2_MODEL_RUNNER=0、依赖默认 block-size、ROCm 7.2 镜像——四项破坏性变更都会直接命中。
  • 灰度再全量:KV 扩容在部分场景换来 TPOT +6–18%,延迟敏感服务先灰度验证再滚动升级。
  • 长上下文要复测:+4–10% 缓存意味着同卡更长上下文,用自己的模型与并发复测实际天花板。
  • 留好回退路径:--gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache 可回到旧行为,升级方案里写明回退步骤。

来源:vLLM GitHub Release v0.34.0(2026-11-16 23:22 UTC 发布,1061 次提交/412 位贡献者)及官方 Release Notes(含各 PR 编号)。性能与容量数据均为官方发布口径;+55% 与初始化提速 34% 为按官方数字的本刊计算。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。

把这条动态落到你的业务里

在内网跑开源推理服务?我们可以帮你做升级评估:破坏性变更盘点、KV 缓存复测、延迟灰度方案与回退路径,一次评估把升级风险算清楚再动手。

约 40 分钟评估

留言 · 聊聊这一条

您的看法、追问、以及同行实践里的对照——都欢迎写下来。留下邮箱或手机号,我们会回复;留言审核后公开展示在本页,精选观点我们还会写进后续动态。

正在加载留言…

留言仅用于回复与联络,联系方式不会公开;详见隐私政策。

返回行业动态列表(共 222 条)→

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「vLLM v0.34.0 发布:同一张卡 KV 缓存最高 +55%,四项破坏性变更升级前先看清」,机悟 JAVIS,2026-11-19,https://javis.org.cn/news-2026-11-19-vllm-034-kv-cache.html
Markdown:[vLLM v0.34.0 发布:同一张卡 KV 缓存最高 +55%,四项破坏性变更升级前先看清](https://javis.org.cn/news-2026-11-19-vllm-034-kv-cache.html)(机悟 JAVIS,2026-11-19)