数据中心卡是另一个世界:不标电商价、按整机渠道供货、采购逻辑是 TCO 而不是性价比。 这篇给「想接触又不知深浅」的读者一张地图。
一、2026 在售主力卡速览
| 型号 | 显存 | 带宽 | 定位 | 渠道参考价 |
|---|---|---|---|---|
| H100 80G SXM | 80G HBM3 | 3.35TB/s | 训练/高并发基准线 | ¥199,000 |
| H200 141G | 141G HBM3e | 4.8TB/s | 长上下文/高吞吐推理 | ¥319,000 |
| B200 192G | 192G HBM3e | 8TB/s | Blackwell 旗舰,FP4 吞吐怪兽 | ¥420,000 |
| MI300X 192G | 192G HBM3 | 5.3TB/s | AMD 主力,MoE 推理主场 | ¥188,000 |
| L40S 48G | 48G GDDR8 | 864GB/s | 推理/图形双修,风冷机房友好 | ¥78,000 |
AI 算力指数(RTX 5090 = 100):B200 ≈ 185 > H200 ≈ 150 > H100 ≈ 135 > MI300X ≈ 130 > L40S ≈ 72。完整参数与单品页 → 显卡专区·数据中心。
二、买的现实约束(不只是钱)
- 供货形态:SXM 版随整机(OAM 模组),单卡采购要配对应服务器主板/底座;PCIe 版流通少加价高
- 基础设施:H100 700W/B200 1000W——机柜供电、机房制冷、UPS 都是前置条件;L40S 双槽风冷是「机房平民答案」
- 软件栈:NCCL/NVLink 拓扑、驱动版本与集群调度,团队没有 MLOps 人力慎入
- 贬值速度:18 个月一代,买卡的折旧常常大于电费
三、租的成本公式(2026 国内口径)
- 4090 云主机:约 ¥1.5-2.2/时
- H100(80G):约 ¥20-35/时
- 月成本 ≈ 时价 × 730 × 利用率
决策线:需求小时数 × 时价 > 卡价 ÷ 18 个月折旧 + 电费 + 运维人力 → 买;反之 → 租。 个人与 90% 的中小团队算出来都是租。实时价格对比 → 云 GPU 性价比榜,云厂商逐家评测 → GPU 云选型。
四、折中路线(2026 年流行的中间态)
- 魔改 48G 消费卡集群:多张 3090 48G 魔改 + llama.cpp/exllama,「穷人的数据中心」,适合推理为主的团队
- L40S 单卡起步:风冷机房即可部署,推理与图形双修
- 混合架构:本地 5090/魔改卡做开发调试,生产峰值租 H100/B200——大多数团队的最优解
相关:专业卡与游戏卡差别 · 云 vs 本地成本对比 · 每万元 AI 算力榜
常见问题
H100 现在多少钱?
整机/渠道价随供需剧烈波动,2026 年编辑部参考:H100 80G SXM 约 ¥20 万/卡(整机渠道),H200 约 ¥32 万,B200 约 ¥42 万,MI300X 约 ¥19 万。均为渠道询价口径,无电商零售。
什么情况下买卡自建比租云划算?
三条件同时满足:GPU 利用率长期 >50%、需求稳定 2 年以上、有运维人力(供电/散热/驱动/故障)。粗略回本线:4090 级约 8-10 个月,H100 级约 12-18 个月。算不清就先租。
MI300X 和 H100 怎么选?
192G 大显存 + 5.3TB/s 带宽,MoE 巨兽推理是 MI300X 主场;训练与 CUDA 生态深度绑定的工作流仍是 H 系/B 系省心。ROCm 在推理侧已成熟,训练侧按团队技术栈决定。
个人想体验大卡怎么办?
云 GPU 按小时租:4090 约 ¥2/时,H100 约 ¥20-35/时(见云 GPU 榜单);或者魔改 48G 3090 用「穷人的数据中心」思路本地跑 70B。