24 GB 的卡跑起来就像在线模型：10M-token 输入里，84.1% 不用重算

一、长线任务长什么样：写 1 个字之前，先读 41 个字

智能体干活的时候，词元的大头是「读」，不是「写」。本机一次真实使用记录（2026-10-23，连续会话 3 小时 44 分，Qwen3.8-Flash-Next 的 Q5_K_M 档，Strata 0.1.47/HIP 引擎）：

• 154 条请求读进 10,045,954 个词元、写出只有 245,389 个——读写比约 41:1；最大单条请求一次喂进 97,706 个词元，没有 OOM
• 输入里 84.1% 命中前缀缓存、不用重算第二遍；KV 有 98.60% 经流式命中常驻显存
• 写出的字里，MTP 草稿接受率 81.9%——接下来几个字先由草稿写好、模型只核对，吐出来的字基本一步到位
• 作为对照的 15 项沙箱工具任务（一问一答型，基础 5 + hard 7 + x 3）：Flash-Next 15/15、669.7 秒；Qwen3.8-27B 也是 15/15、674.4 秒——一问一答的任务，两个模型几乎打平，差异只在会话变长之后才出现

所以「干不干得动智能体任务」，不看单点解码峰值，看的是三件事：读进去的东西要重算多少、吐出来的字有多少算数、天花板顶不顶得住。

二、同一张卡，两种长会话命运

下面这张表是全文的主表：五个维度，左右两列全部来自本机记录（档位与引擎在格内标死，口径互不换算）：

五行连起来读：27B 不是输在「慢」，是输在「会话一长」——短程它反而更快；Flash-Next 赢的也不是吐字速度（43.5 对 51.1 反而更低），而是「读进去的不白读、吐出来的不白吐」。

三、「在线感」拆开是三个机制，全用比喻说

• MoE = 值班制，不是全员坐班：134.1 GB 权重每步只唤醒少数专家，GPU 专家缓存 16.50 GiB / 4746 slots、命中率中位 78.9%——值班的在门口，其余住大仓，搬运量小，长会话才扛得住。
• 前缀命中 = 讲过的内容不用重讲：每 42 个字里 41 个是复读历史，KV 常驻显存（98.60% 命中）之后，读过的部分不再二次计费——在线 API「秒回」靠的就是同一件事。
• MTP = 先打草稿、再核对：接下来几个词元先由草稿模型写好、主模型只做接受（81.9%），写不出活时的「空转吐字」就少了。

所谓「像在线模型」，不是玄学形容词，是这三件事在一张 24 GB 消费卡上被原样复现了一遍。

四、三条提醒，先别冲动换机器

• 只跑短任务不用换机：27B 的 15/15 和 1k 68.7 tok/s 都摆在那，「仅够能用」在短任务上等于够用。差异只在你开始挂长会话、长工具链的那天出现。
• 收益跟着负载形态走：84.1% 命中是多轮智能体会话的数字；一问一答、每次都是全新长文档的用法，吃不到这个便宜。
• 分层有运维代价：69.04 GiB page-locked 常驻、开机 83 秒建常驻；快照时显存 23.58/23.98 GiB、只剩 0.4 GiB 余量；RADV 在 GTT 占用超阈值时会静默回退系统内存——同一份参数从 58.9 掉到 12.5 tok/s 且不报错，判别看 GTT 是否超 1.5 GiB、预填与解码是否同时腰斩。

数据来源：自有设备真实负载与评测记录（2026-09 ~ 2026-10-23）：Strata 0.1.47 会话日志 strata-unc-q5km.log（快照 2026-10-23 17:37）、perf_*/mmlu_pro_*/gsm8k_* 结果文件、Hermes 15 项工具任务判分记录、Qwen38-27B 单卡优化报告（2026-10-14）、Mesa 26.2.5 RADV 升级报告（2026-10-18）。机器：i7-14700F + 单张 RX 7900 XTX 24 GB + 125.6 GiB 内存（UOS 25，llama.cpp fcac190 / Vulkan + 私有 Mesa 26.2.5）。所有数字均为自有设备自测记录，真实负载、定长扫描与客观题三套口径互不换算；27B 的前缀命中本批未测。本文仅陈述自测数据与公开技术口径，不评判任何企业与产品，不构成投资建议。