显存 = 权重 + KV 缓存 + 激活。下表为经验估算，供初选机型；实际以你业务的并发数与上下文长度实测为准——长上下文会显著放大 KV 缓存占用。
| 模型 | 精度 | 参考占用 | 典型硬件 | 适合 |
|---|---|---|---|---|
| Qwen3.8-27B | 4bit（GGUF/Ollama） | 约 16–18GB | RTX 4090 / 3090 单卡，或 32GB 统一内存 Mac | POC、小团队 |
| Qwen3.8-27B | FP8 官方 | 约 30GB+ | 48GB 卡（A6000/L40S 级）或 2×24GB | 生产服务 |
| Qwen3.5-35B-A3B | 4bit | 约 20GB（激活仅 3B，速度快） | 24GB 单卡 | 大参数经济解 |
| Qwen3.5-9B | 4bit | 约 6GB | 16GB 显卡、高端笔记本 | 部门级试用 |
| Qwen3.5-4B / 2B | 原版/量化 | 2–4GB | 迷你主机、开发板 | 轻量助手 |
| Qwen3.5-0.8B | 原版 | <1GB | CPU、边缘盒、车机 | 端侧兜底 |
| Qwen3-ASR-0.6B/1.7B | 原版 | 1–4GB | 与主模型同卡共存 | 会议转写 |
| Qwen3.8-2.4T-A95B | FP8 | TB 级 | 多机互联集群 / 云端大实例 | 平台底座 |
RTX 4090 / 3090：27B 量化与 35B-A3B 的甜点档，POC 到小规模生产都能覆盖。
A6000 / L40S 级：FP8 官方权重单卡直跑 27B，适合正式环境与并发服务。
32GB 起（MLX 变体）：开发与轻量服务便利，并发吞吐弱于 NVIDIA 方案。
2×24GB 跑 FP8；TB 级模型交给多机互联集群或云端大规格实例。
① 长上下文是显存放大器：262K 满上下文的 KV 缓存远超权重本身的占用，预算时给 KV 留足余量或限制单请求最大长度。
② 并发比单次推理更吃显存：吞吐型业务按"并发数 × 单请求占用"预估，宁超勿欠。
③ 先量化后扩容：业务允许时优先 4bit/FP8 起步，确有精度缺口再上更高精度或多卡。
QWEN爱好者