回答一个高频问题:为 offload 上 96G 内存值不值。实测数据:32B Q4 量化,纯 CPU 推理(9950X + 8 通道? 不,双通道 96G)7 tok/s——不对,双通道 DDR5 6400 的带宽只有约 100GB/s,纯 CPU 7 tok/s 是 14B;32B 纯 CPU 实测 3.2 tok/s,显存混合 offload(24G 卡 + 96G 内存)15 tok/s。
结论拆开说:96G 内存的意义不是"用 CPU 跑大模型",是"给显卡显存以外的部分兜底"——offload 的体验分水岭在 10 tok/s,要到这条线,大显存卡(48G 魔改)比大内存更有效。内存的上限价值在 MoE 模型(激活小、总参数大),这类模型 96G 内存 + 16G 显存的组合意外地甜。
最终建议:先买大显存,内存跟着场景补;写作重度 + MoE 玩家除外。