一张表看懂 10 月本地能跑多大模型：12GB 老卡请出 125B、24GB 稳跑 27B、5 万元一体机装下 300B

一张表：你手里的机器，现在能跑什么

表里最反常识的是第二行：12GB 显卡跑 125B。两年前这是不可能的，今年已经有人用一台约 1,000 美元的二手整机（两张 12GB 老卡 + 64GB 内存）跑出了每秒 52–63 个字，上下文还开到 256K。原因不在显卡变强，而在下面这三句话。

三句话，说清为什么「小卡也能跑大模型」

• 一、大模型现在是「专家团队」，不是「一个通才」125B 的模型内部由两万多个小专家组成，每写一个字只叫其中十来个。全部专家没必要同时挤在显卡里——常用的放显卡、其余放内存，用到了再取。
• 二、引擎替你把「装不下」变成了「装得慢一点」过去显存不够就直接跑不起来；现在有专门的引擎（开源、免费）把模型摊到整台机器上，代价是内存要够大——64GB 起步、长上下文最好 128GB。
• 三、量化是拿精度换体积，不是白拿把每个参数从 16 位压到 4 位，体积降到四分之一。但压得越狠，细节越容易走样：2.8 万亿参数的模型能压到 594GB 跑起来，代价是「跟全精度答案一致」的比例掉到约 79%。

今年真正的变化：不是卡变强，是「装法」变了

三个信号可以放在一起看：一张 12GB 的显卡跑 125B，速度 94 字/秒；一台 1,000 美元的二手整机把同一档模型跑到 52–63 字/秒、上下文 256K；英伟达 10 月 23 日开卖的 DGX Spark 64GB 版，4,999 美元起，官方口径单机可跑到约 1,000 亿参数，两台还能拼成 128GB。

换句话说，决定「能不能跑」的，从「显卡多贵」变成了「内存够不够 + 用什么引擎 + 敢压到几比特」。这对预算有限的单位是好消息：手里那批 2019–2022 年的工作站，很多都能重新上工。

价格：等降价这条路，今年已经没有了

• 老卡在涨二手 3090 一年涨了约 63%，现在约 8,000 元一张；5090D 32GB 10 月 13 日行情冲到约 44,464 元（首发一万六出头）。
• 新卡被 AI 抢产能存储颗粒优先给 AI 数据中心，消费级显卡减产调价，连 AMD 都上调了指导价。
• 内存、硬盘也在涨DDR5 现货较 2025 年低位涨超 5 倍；SSD 合约价连续六个季度上涨，同比约三倍。
• 所以「先不买、等明年便宜」的窗口基本关闭；要买就按预算锁单，别在涨价传闻里追高——真金白银要花在能跑起来的配置上，而不是最大的那张卡。

三个提醒，比参数更重要

• 能跑 ≠ 能签压到低精度跑得动的模型，最容易在金额、编号、条款引用这类细节上出错。一定要拿本单位 20 份真实文件先试，别只看跑分。
• 上下文不是免费的把一整本案卷「硬灌」给模型，既要显存也要时间；多数场景里，先检索再喂几段，又快又准又便宜。
• 许可是隐形门槛今年几个大模型的许可都改了：有的从宽松协议换成社区协议，有的对「对外提供模型服务」设了营收门槛。内网自用通常没问题，做成对外产品前务必先看条款。

来源：至顶 AI 实验室与 Strata 项目文档（12GB 卡跑 125B、约 1,000 美元二手整机 52–63 字/秒、5070 实测 94 字/秒、专家缓存命中 96%–98%，2026-10-15）、超能网与界面新闻（DGX Spark 64GB 4,999 美元、10-23 开卖，2026-10-01）、什么值得买与博客园（二手 3090 约 8,000 元、一年涨 63%、5090D 行情约 44,464 元，2026-10-13/14）、深圳市电子商会与集邦咨询（DDR5 现货较 2025 低位涨超 5 倍、SSD 约三倍，2026-10-18）、Unsloth 与腾讯云开发者社区（2.8 万亿参数模型压到 594GB、一致率约 79%，2026-09-08）、ZAKER 与至顶智库（128GB 一体机约 2.5 万元、192GB 移动工作站约 5 万元，2026-10-13/14）、阿里云开发者社区与 IT 之家（125B/6B 激活、262,144 扩 1M 上下文，2026-08-26）。速度、体积、价格均为对应机构与社区口径，属方向性数据，以官方发布与本单位实测为准。本文为结论版综述，技术公式与逐项实测见同站《「本地能跑多大」四张账》。仅转述公开信息，不评判任何企业与产品，不构成投资建议。