CPU 推理没有玄学:速度上限 = 内存带宽 ÷ 每个 token 要读的参数字节数。所有平台选择的本质,都是在凑带宽和凑容量两件事。
带宽天梯(2026-11 行情口径)
| 平台 | 通道 | 带宽 | 平台成本(二手/渠道) |
|---|---|---|---|
| 消费级双通道 DDR5-6000 | 2 | ≈96GB/s | 已有 PC |
| 撕裂者 TR 4 通道 DDR5 | 4 | ≈160GB/s | 主板 ¥3000+ |
| Xeon Scalable 6 通道 DDR4-2933 | 6 | ≈128GB/s | ¥1500-2500 |
| EPYC Rome/Milan 8 通道 DDR4-3200 | 8 | ≈204GB/s | ¥4000-7000 |
| Genoa 12 通道 DDR5-4800 | 12 | ≈307GB/s | 渠道价上探 |
结论:同样的预算,EPYC Rome 二手平台是带宽/元性价比最高的一档;这也是它成为 CPU 推理标配的原因。
MoE 是 CPU 路线的命门
- MoE 小激活:Qwen3-30B-A3B 每次只激活 3B 参数(Q4 ≈ 1.7GB),204GB/s 带宽下实测 10-20 tok/s —— 可用
- Dense 模型:70B 每次激活全部 40GB(Q4),同带宽只剩 1-3 tok/s —— 不可用
- 判断公式:模型总参数(存储压力)看容量,激活参数(速度压力)看带宽;两者都要在购买前对表
模型侧的显存/内存需求对照 → 模型库显存速查;Qwen 32B 纯内存方案的实测记录 → 96G 内存跑 Qwen3-32B。
容量方案对号入座
- 32G×8 = 256G(¥1800+):30B 级 MoE + RAG 知识库起步位
- 64G×8 = 512G:70B Dense Q4 + 30B MoE 多模型常驻
- 128G×8 = 1TB:235B 级 MoE / 多租户共享推理
搭配 RDIMM 插法规则 → RDIMM 选购指南;平台怎么凑齐 → EPYC 捞垃圾全攻略;最终目标是多卡时 → 4U GPU 服务器装机。
常见问题
为什么带宽是 CPU 推理的上限?
每个 token 都要把激活的全部参数从内存读一遍:速度 ≈ 带宽 ÷ 参数字节数。204GB/s 读 3B 激活(Q4 ≈ 1.7GB)理论上限 ~120 tok/s,实际打 1-2 折到 10-20 tok/s;读 70B(≈40GB)就只剩个位数。
各平台带宽差多少?
消费级双通道 DDR5-6000 ≈ 96GB/s;撕裂者 4 通道 ≈ 160GB/s;EPYC Rome 8通道 DDR4-3200 ≈ 204GB/s;Genoa 12通道 DDR5-4800 ≈ 307GB/s;带宽翻倍的代价是平台价也翻倍。
什么模型适合纯 CPU?
MoE 小激活模型:Qwen3-30B-A3B(激活 3B)、DeepSeek-V3 系(激活 37B 需大带宽平台);Dense 7B 都能上,但同等显存预算下不如买显卡。
内存容量要多少?
模型 Q4 体积 ×1.2 + 系统与 KV 缓存:30B MoE 需 32G+、70B Dense 需 64G+、235B 级 MoE 需 128G+,多模型常驻按最大者 ×2 规划。