多卡 GPU 服务器的三道选择题:机箱形态、供电冗余、PCIe 拓扑。逐个定完,整套方案就定型了。
机箱:按卡数和放哪定
- 双卡以内 + 放桌面:大塔箱(显卡限长 ≥400mm、垂直风道)+ 塔式 CPU 散热,安静方案
- 三卡以上 / 进机架:4U 机架式或服务器准系统 —— 风道标准化、扩展位多,代价是噪音与 43cm 进深
- 准系统(带箱+板+电源)是懒人路线:兼容性已被原厂验证,二手机架准系统是捡垃圾常见入口
供电:峰值 ×1.5,冗余看用途
| 配置 | 整机峰值 | 电源方案 |
|---|---|---|
| 双 5090(575W×2)+ EPYC 200W | ≈1600W | 1600W 单 ATX(ATX3.1 + 2×12V-2×6) |
| 4×5090 级 | ≈3000W | 双 CRPS 冗余(2+1 或 2+2) |
- 12V-2×6 接口是 50 系的硬要求(瞬时毛刺 1.8 倍 TDP),转接线方案直接排除
- 家居民电 220V 单回路 16A ≈ 3500W:双卡无忧,四卡方案注意别和空调同回路
- 冗余电源的意义:训练到一半市电/电源故障不报废进程 —— 对 7×24 推理服务是真需求,对玩具不是
PCIe 拓扑:训练看带宽,推理无感
- 推理:PCIe3 x8 都够用(权重进显存后几乎不跑总线),别为拓扑多花钱
- 训练:梯度同步吃带宽,x16 直连 CPU 优先;EPYC 128 条 PCIe5 通道 + NUMA 调优,比消费级平台从容得多(细节见 NUMA 词条)
- 多卡对等互通看 NVLink/互联:消费卡没有 NVLink,大模型训练直接看数据中心卡
风道:涡轮卡是机架默认
涡轮卡垂直排布、风直出机背,4U 前进后出风道一穿到底;开放卡在 4U 里互相吐热风,第二张卡直接吃 70°C 预热。塔箱双卡可开放,机架多卡认涡轮。
配电与瓦数通则 → 电源专区与电源瓦数怎么算;要现成整机?AI 服务器采购服务从配置到上架;CPU/内存平台 → EPYC 捞垃圾全攻略。
常见问题
家用装 4U 机架现实吗?
现实但要接受两点:噪音(风扇墙+涡轮卡)与占地(43cm 深×17cm 高);放书房建议塔箱双卡方案,4U 进设备间/阳台。
电源怎么配?
单卡 12V-2×6 按 600W 预留,整机峰值 ×1.5:双 5090 平台 1600W 单电源起步;4 卡以上用双 CRPS 冗余(服务器机箱原生支持),一路市电断电不停机。
PCIe 通道影响推理吗?
推理几乎无感(单卡推理 PCIe3 x8 都够);训练的梯度同步吃带宽,x16 直连优先 —— 拓扑看主板,EPYC 全系 PCIe5 x128 条,通道焦虑比消费级小得多。
涡轮卡和非涡轮卡怎么选?
多卡机架选涡轮卡(风直出机背,互不吐热风);单卡塔箱选开放卡(更静更快);4U 里塞开放卡是常见的翻车点。