94 GB 的模型塞进 24 GB 消费显卡：Qwen3.8-Flash-Next 跑满 256K 上下文，15 项真实任务全过

先把机器和模型摆出来，省得对不上号

机器：i7-14700F（20C/28T）、125.6 GiB 内存、单张 RX 7900 XTX 24 GB（gfx1100，PCIe Gen4 x16）、UOS 25、私有 Mesa 26.2.5 RADV（只给推理用，桌面 GL 不动）。

两个主角：一个是 Qwen3.8-Flash-Next 的 unsloth UD-IQ4_XS 权重，三个分片合计 93.7 GB，靠 Strata 引擎做「显存 + 内存 + SSD」三层分层，专家缓存命中 78%–85%；另一个是 Qwen3.8-27B 的 UD-Q4_K_XL，17.56 GB，用 llama.cpp Vulkan 全量常驻显存。一个 94 GB、一个 17.6 GB，放在同一张 24 GB 卡上比对。

256K 上下文不掉速，这是「最稳」的硬指标

短提示速度好看不难，难的是上下文拉长以后还能不能站住。Flash-Next UD-IQ4_XS 在 262K 配置下的实测：

解码1k 63.6 · 4k 75.7 · 16k 64.4 · 32k 65.3 · 64k 65.7 · 128k 62.2 · 256k 62.3 tok/s
预填526 → 908 → 1,249（16k）→ 1,243 → 1,242 → 1,047（128k）→ 1,113 tok/s（256k）
一次性喂 10 万 token：提示 100,378 tokens，首 token 82.9 秒，预填 1,211 tok/s，随后解码 47.3 tok/s，显存占用 24,012 / 24,560 MiB

作为对照，27B Dense 在短提示上更快（1k 68.7 tok/s，4k 70.9），但上下文一过 32k 就开始掉：32k 62.0、60k 只剩 51.1；而且 128k 要关掉视觉才能跑，182k 直接因视觉编码 OOM 弃用。要长上下文又要速度，24 GB 卡上目前站得稳的是 Flash-Next 这条路子。

能力没有缩水：客观题打平，真实任务全过

同机、同模板、seed=42 的客观题（括号内为样本量）：

MMLU-Pro（200 题）Flash-Next unc Q4_K_M 63.5%、27B Q4_K_XL 60.5%、Flash-Next 基线 60.0%、q4km-int8 59.5%、最终优化版 56.5%
GSM8K（40 题）Flash-Next q4km-int8 / unc 100%、优化版 97.5%、27B 95.0%（2 题截断，除截断为 100%）
MATH-500（30 题）Flash-Next q4km-int8 与优化版均 76.7%、27B 70.0%（重试 73.3%）
Hermes 真实工具任务 15 项（基础 5 + hard 7 + x 3，全部在真实沙箱执行、程序判分）：Flash-Next 15/15、总耗时 669.7 秒；27B 15/15、674.4 秒

结论很清楚：小得多的 MoE 模型在能力上没输，MMLU-Pro 的 unc 档还领先 3 个百分点；两者在真实工具任务上都是满分，总耗时几乎一样。差别全部落在「上下文天花板」和「掉不掉速」上。

三个加速杠杆，加起来才是这个数字

MTP 自投机27B 在 XTX Vulkan 上从 34.8 → 63.7 tok/s（+82%）；3090 CUDA 从 37.4 → 52.3 → 60.0（+64%）；服务端 n-max=2 也有 +45%~53%，n=3 没有额外收益。
RADV Mesa 26.2.5预填 pp512 从 687.4 → 933.6（+36%），pp128 +38%，解码 +1.7%；代价只是 llama.cpp 单独用新 ICD，桌面不受影响。
KV 量化 + 分层缓存k8v4 的 KV 量化 + 90 GiB 专家常驻预算 + PCIe 0.35 分流，让 93.7 GB 权重在 24 GB 卡上有了「上下文能到 256K、速度还不塌」的可能。

也要说清两条边界，不然就是吹牛

第一，短提示速度 ≠ 干活速度。同一个模型跑长上下文 agent 任务（读 66,323 token 的文件、连续工具调用）时，真实生成速度是 12–31 tok/s，不是 62。对外引用必须区分这两套口径。

第二，「稳」的反面案例我们也留了记录：RADV 在 GTT 占用变高时会静默回退到系统内存——同一份参数，桌面多占 0.8–0.9 GiB 后，服务从 58.9 tok/s 掉到 12.5 tok/s，还不报错。判别方法是看 `mem_info_gtt_used` 是否超过 1.5 GiB、pp 与 decode 是否同时掉一半，重启服务即可恢复。这类坑不写出来，用户就会以为是模型不行。

第三，不同机器不可混用。此前在 32 GB R9700 机器上跑 daxing 37 题验收集：三个模型都是 37/37 全过，但 Mixture-of-Experts 的 Qwen3.6-35B-A3B 平均 13 秒、解码约 82 tok/s，明显快过 27B 的 30 秒；那是 8 月的 32 GB 卡和 Ollama 口径，和现在 24 GB 卡 + Strata 的数字不是一条线。

机悟的建议：想在自己机器上复跑，按这五步来

不要相信任何一页纸，包括这一页。复跑只需要五步：

固定变量同一台机器、同一份权重、同一套提示词，一次只换一个参数（引擎、量化、上下文），否则数字没法归因。
测三档上下文1k / 32k / 目标上限各跑一遍，看的是「随上下文衰减曲线」，不是单点峰值。
跑真实任务拿自己业务里的 20–50 个真任务，让模型在沙箱里真的写文件、跑命令、核对结果，程序判分。
查 GTT 与显存推理前后各看一次 `mem_info_gtt_used` 与显存占用，排除「静默回退系统内存」这类假故障。
记口径每个数字都带上机型、引擎版本、量化、上下文与提示长度——没有口径的速度，等于没有速度。

数据来源：本机 benchmark 结果与运行日志（Qwen3.8-Flash-Next UD-IQ4_XS / unc Q4_K_M、Qwen3.8-27B UD-Q4_K_XL，Strata 0.1.47 与 llama.cpp fcac190，2026-10-21 ~ 10-23）、Qwen38-27B 单卡优化报告（2026-10-14）、Mesa 26.2.5 RADV 升级报告（2026-10-18）、双卡 GPU 优化报告（2026-09-19）、32 GB R9700 机型上的 daxing 37 题验收集（2026-08-31）。所有数字均为自有设备自测记录，不同机器、引擎、量化与上下文口径互不可替代；换硬件与负载后表现会变，请以自有环境复测为准。本文仅陈述自测数据与公开技术口径，不评判任何企业与产品，不构成投资建议。