96G 内存 offload Qwen3-32B:速度与体验的真实水位

短答案

纯内存 3.2 tok/s 只够读;24G 卡混合 offload 15 tok/s 可写作;MoE 模型是 96G 内存的甜点位——激活小,总参数吃得下。

用 96G 内存跑 Qwen3-32B(Q4,约 20G)的三种组合实测:

分层策略:llama.cpp 的 --n-gpu-layers 逐级降,速度陡降点回一档;KV 缓存固定在显存(它最吃带宽)。

MoE 才是 96G 的主场:Qwen3-30B-A3B 总参数大激活小——这类模型 offload 损失小,96G + 16G 卡组合意外能打(见MoE 百科)。

常见问题

96G 内存值得为 offload 买吗?

大显存卡优先;MoE 重度玩家与写作刚需除外——内存是 MoE 场景的主场。

offload 分层怎么设?

GPU 放热点层与 KV 缓存,内存放长尾层;--n-gpu-layers 从满配往下试,速度陡降点回退一档。