DDR5 32G 够跑大模型吗?

短答案

显卡推理(≤14B 模型)32G 够;32B+ 模型要 CPU offload 时 64G 起步;70B/MoE 玩家 96G。容量比频率重要。

容量速查表

用途推荐内存理由
绘画 + 7B–14B 推理32G显卡自足,内存只管加载与系统
32B 模型(轻度 offload)64G甜点位:覆盖 90% 玩家
70B offload / MoE / Agent 开发96Goffload 底气 + 多进程余量

[product-card] 未找到硬件 ID:ddr5-6000-64

延伸阅读:本地跑 70B 最低配置。

「32G 够吗」的正确问法:先问显存多大

内存的需求曲线完全由显存决定,这是新手最容易忽略的因果:模型能全塞进显存时,内存只需要管操作系统、浏览器和模型加载缓存(加载时文件先过内存)——32G 绰绰有余,16G 都能凑合。显存一旦不够、需要 offload(把部分层常驻内存),内存就变成了「第二显卡」:32B 模型的 20G 权重放一半进内存,加系统占用,64G 是底线;70B Q4 的 42G 权重想靠 offload 跑,96G 才不捉襟见肘。

这笔账还要扣掉一个隐藏项:系统自己要吃 6-10G。Windows 桌面 + 常驻软件轻松超过 8G,所谓「32G 跑大模型」实际给模型的不到 24G。这就是为什么表格里 32B offload 直接标 64G——32G 不是「有点紧张」,是不够用。

内存暴涨行情下的务实策略

当下 DDR5 价格仍在暴涨后回落的高位区间,内存预算的每一分都要精打细算。我的建议按人群分:

推理为主(模型装得进显存):32G 封顶,别多买。这个人群多花的每 32G 都是纯浪费,省下的钱加给显存——内存涨价周期里,这个建议比任何时候都值钱。

明确要 offload 32B+:64G 一步到位,但认真考虑「是不是该把差价换成 24G 显存卡」——3090 二手 加几 G 内存的钱,可能比「64G 内存 + 16G 卡」的 offload 组合体验好得多(offload 的速度账见内存通道分析)。

学生/预算极限:16G 先跑起来,7B/14B 不受影响,后续再加——内存是整机里唯一可以无痛追加的配件(显卡和 CPU 都不是),「先小后大」在内存上是成立策略。

频率与通道:什么时候才轮到它们

容量解决「跑得动」,频率和通道解决「跑多快」——优先级差一个量级,但在 offload 场景里不是零:DDR5-6000 双通道约 90GB/s,配合四通道平台或 HEDT 能到 200GB/s+,对 offload 重度用户是实打实的速度差异,数据见内存速度测试方法。装新机记得开 XMP/EXPO(不开就跑 JEDEC 底频,白花一半钱),槽位插对(装机流程里讲了为什么是 2/4 槽)。

一句话:先保证显存能装下模型,再谈内存容量,最后才轮到频率——三层需求,别跳级消费。

常见问题

内存频率对大模型影响大吗?
对纯 GPU 推理几乎无影响(模型在显存里)。只在 CPU offload 时,内存带宽直接决定速度——但那是「有没有」的问题,先解决容量再谈频率。
内存不足会有什么表现?
模型加载失败(OOM)、加载极慢(走 swap)、系统卡死。系统还要占 6–10G,所谓 32G 跑大模型的「32G」不是全部给你的模型用的。
↑