行业动态 › 正文

2026-11-02国产大模型 · 全栈自研

中国 1.6 万亿参数模型只用国产卡训练:每词元激活 480 亿,长程榜反超 GPT-5.6

万亿参数不稀奇,稀奇的是训练全程没用进口卡。真正值得看的不是 1.6 万亿这个数,而是官方为了在「单卡显存不足 80 GB」的国产卡上把它训出来,被迫做对的那几件事——这些工程细节,恰好也是企业自建集群时最常卡住的地方。

一、先看参数结构:1.6 万亿是总量,480 亿才是每次推理的成本

LongCat-2.5 是美团龙猫团队 11 月 2 日发布的新一代模型,定位「长程智能体任务」的原生多模态模型,在 LongCat-2.0 基础上强化了原生视觉理解与智能体编程能力。在线体验与 API 接入已开放,GitHub 与 Hugging Face 权重宣布「即将上线」。

项目官方口径
总参数量1.6 万亿
每词元激活参数约 480 亿
模型形态原生多模态(视觉与文本同一主干)
训练算力全程国产算力
权重状态GitHub / Hugging Face「即将上线」

「总参数」决定装得下多少知识,「激活参数」决定跑一次要多少算力。480 亿激活意味着推理时的显存与带宽压力,量级更接近一个中等规模模型,而不是一万六千亿。

二、长程智能体榜单:一个指标反超,其余要按各自口径读

评测项本模型得分参照
Terminal Bench v2.188.4—
Terminal Bench v4.038.5GPT-5.6-Sol 37.3
AutomationBench51.8—
BrowseComp91.9—
Program Bench25.5—
MCP Atlas83.1—
3DCodeBench55.4—
Vision2Web(视觉)78.6—
MathVision(视觉)96.5—

Terminal Bench 测的是在终端里连续执行任务的能力,v4.0 是更难的一版,38.5 分这个绝对值不算高,但官方给出的对照是 GPT-5.6-Sol 的 37.3——这是发布材料里唯一一处与闭源旗舰的直接比较,且只覆盖单一评测项。

  • 「反超」只成立在这一项、这一版;其余项目官方未给同条件对照,不能推成整体领先;
  • Program Bench 25.5 分说明复杂编程任务仍有明显空间,长程任务与单轮编程不是一回事;
  • 权重尚未实际放出,「即将上线」到「可下载」之间还有许可条款这一关。

三、被迫做对的四件事:国产卡显存不足 80 GB 带来的工程改造

官方在技术说明里点明,基础设施是「面向国产算力单卡显存不足 80 GB 的限制」做的优化。对自建集群的读者,这四条比跑分更有参考价值:

  • 超节点并行 + 双重分片 FSDP:把单卡装不下的专家分片到多卡,绕开单卡显存上限;
  • 长序列 SFT 单卡吞吐较 DDP 基线提升 86%:长上下文训练的效率瓶颈不只在算力,也在并行策略;
  • 推理用 W4A4,把专家权重与激活同时量化到 4 bit:相对 W8A8 INT8,Prefill 提升 43.3%、Decode 提升 42.77%,首字延迟与每词元耗时分别降低 15.91% 和 19.72%;
  • GMM 算子平均加速 1.73 倍:MoE 模型的算子在国产卡上往往没有现成高度优化版本,这部分得自己做。

另外两条训练侧的细节也值得记:数据合成流水线自动生成任务、可交互环境与可验证测试用例,并用 fail-to-pass / pass-to-pass 双校验;为抑制 reward hacking,训练时做了断网、清除 git 历史与 LLM judge 监督。这类工程约束,是「长程智能体」能不能稳定跑起来的分水岭。

要把「万亿参数」用到自己机房,先问这四个数

四条:

  • 激活参数与量化档位:决定单卡显存要多大,而不是总参数多大;
  • 训练卡型号与规模:官方说「国产算力」,具体型号与卡数要问到,才谈得上复现;
  • 量化后的精度损失:W4A4 提了 40% 以上吞吐,官方未给精度对照,需自测业务集;
  • 权重许可与私有化条款:开源权重不等于可商用,许可与备案要求要一起看。

来源:美团龙猫 LongCat-2.5 官方技术博客(longcat.ai/blog/longcat-2.5)与 11 月 2 日发布信息,经站长之家、时代财经、格隆汇等报道;跑分为厂商自报口径,未做第三方复现。 本文仅转述公开报道,不评判任何企业与产品,不构成投资建议。

返回行业动态列表(共 127 条)→

万亿参数能不能落到你的机房,取决于那四个数。

把你们的目标模型、并发与现有硬件给我们,先出一版可复跑的容量测算,再谈部署。

本页可引用 引用或转载请保留来源链接与日期,下面两行可直接复制:
「中国 1.6 万亿参数模型只用国产卡训练:每词元激活 480 亿,长程榜反超 GPT-5.6」,机悟 JAVIS,2026-11-02,https://javis.org.cn/news-2026-11-02-meituan-longcat-25-domestic-compute.html
Markdown:[中国 1.6 万亿参数模型只用国产卡训练:每词元激活 480 亿,长程榜反超 GPT-5.6](https://javis.org.cn/news-2026-11-02-meituan-longcat-25-domestic-compute.html)(机悟 JAVIS,2026-11-02)