DDR5 32G 够跑大模型吗?

短答案

显卡推理(≤14B 模型)32G 够;32B+ 模型要 CPU offload 时 64G 起步;70B/MoE 玩家 96G。容量比频率重要。

容量速查表

用途推荐内存理由
绘画 + 7B–14B 推理32G显卡自足,内存只管加载与系统
32B 模型(轻度 offload)64G甜点位:覆盖 90% 玩家
70B offload / MoE / Agent 开发96Goffload 底气 + 多进程余量
DDR5 6000 64GB(2×32) · 大模型玩家甜点。CPU offload 跑 32B、多开 ComfyUI 都从容。
64GB

大模型玩家的甜点容量

延伸阅读:本地跑 70B 最低配置。

常见问题

内存频率对大模型影响大吗?
对纯 GPU 推理几乎无影响(模型在显存里)。只在 CPU offload 时,内存带宽直接决定速度——但那是「有没有」的问题,先解决容量再谈频率。
内存不足会有什么表现?
模型加载失败(OOM)、加载极慢(走 swap)、系统卡死。系统还要占 6–10G,所谓 32G 跑大模型的「32G」不是全部给你的模型用的。
↑