服务器平台的正确用法
- MoE 专用机:小激活 MoE + 大总参,吃满八通道带宽,当「本地 API 服务器」;
- 7×24 推理服务:稳定性与 ECC 内存是服务器平台的本职;
- 显存不足的混推底座:配合 24G 显卡,大内存承接 offload 层。
成本结构(典型捡垃圾方案)
| 部件 | 说明 | 参考成本 |
|---|---|---|
| EPYC 拆机 CPU | 32-64 核,主频不高但通道多 | ¥1.5-4k |
| 服务器主板/准系统 | 八通道 ×8 DIMM | ¥2-5k |
| RDIMM DDR4 | 8×32G = 256G | ¥3-4k |
| 机架电源 + 风道 | 主动散热是硬要求 | ¥1-2k |
对比:同带宽的撕裂者新平台 ¥15k+——捡垃圾省一半,代价是噪音、保修与动手量。
先想清楚
「带宽自由」的诱惑很大,但先确认你的模型真的需要:32B 以内 GPU 推理仍是正解;服务器平台的主场是 MoE、70B 混推、常驻服务。带宽原理见内存通道详解。
常见问题
为什么有人用服务器 CPU 跑大模型?
大模型 CPU 推理的速度上限 = 内存带宽。EPYC 八通道 DDR4-3200 ≈ 204GB/s、DDR5 平台更高,是消费级双通道的 2-3 倍——纯内存跑 MoE 小激活模型(30B-A3B 类)能达到 15-30 tok/s,可用性完全不同。
捡垃圾渠道和价格?
拆机 EPYC(如 7002/7003 系 32-64 核)散片价常低于消费级 i9;配套服务器主板/准系统(二手)整体拉低成本。注意:拆机件无保修、散热器为被动式(必须机架风道)、部分板卡需要特定电源接口。
最大的坑是什么?
①噪音:服务器风扇全速像起飞,放卧室别想;②功耗:整机待机就 100W+;③兼容性:内存必须按通道组配 RDIMM(普通内存条插不上);④形态:准系统是机架式,放进家里的书架需要决心。
和 HEDT(撕裂者)怎么选?
要桌面体验(安静/单机箱/核显输出)→ 撕裂者;要极限内存通道与性价比、接受机架形态 → EPYC;只是想试试 → 先用现有电脑 + 内存超频,别直接上服务器平台。