H100 80GB SXM 跑 AI 怎么样?

短答案

数据中心标杆:Transformer 引擎 + NVLink,训练与高并发推理的基准线;个人接触它的正确方式是按小时租,不是买。

01规格与定位

定位数据中心卡 · NVIDIA
显存80GB HBM3(带宽 3352 GB/s)
AI 算力指数
135
(RTX 5090 = 100)
功耗 / 发布700W · 2022-11
参考价¥199,000 (整机/渠道询价,波动大)(更新 2026-11-04)
一句话定位数据中心标杆:Transformer 引擎 + NVLink,训练与高并发推理的基准线;个人接触它的正确方式是按小时租,不是买。

02这张卡能跑什么

按推荐显存匹配(舒适体验口径),与 模型库 数据联动:

大模型
Qwen3-32BQwen3-14BQwen3-8BLlama 3.3 70BGemma 3 27BGemma 3 12BMistral Small 3.x 24BPhi-4 14B
绘画
Stable Diffusion 1.5SDXL 1.0SD 3.5 LargeFlux.1 devFlux.1 schnellQwen-Image
视频
Wan2.2 1.3BWan2.2 14B(TI2V)HunyuanVideoLTX-VideoCogVideoX-5B
音乐
ACE-StepYuE(乐)DiffRhythmMusicGen LargeStable Audio Open

编辑部实测口径:全参微调 70B(多卡)、大并发推理服务、MoE 训练。

03出现在这些配置单里

04同价位对比

显卡显存算力指数参考价点评
Instinct MI300X 192GB(数据中心)192G130¥188,000A 家数据中心主力:192G 大显存 + 5.3TB/s,单卡塞下 MoE 巨兽;ROCm 生态在推理侧已成熟,训练侧仍在追赶 CUDA。

±35% 价位带内的其他选择;全量对比与筛选见显卡专区总表。

一句话:数据中心标杆:Transformer 引擎 + NVLink,训练与高并发推理的基准线;个人接触它的正确方式是按小时租,不是买。它是数据中心卡,80GB HBM3 与 3352GB/s 带宽决定了它能塞下并喂饱多大的模型;AI 算力指数 135(RTX 5090 = 100)。

这类卡没有电商零售价,走整机/集成商渠道,价格随供需波动极大。个人与中小团队更现实的用法是按小时租用(云 GPU 榜单);确定要采购,先拿本页参数对多家渠道询价。显卡专区筛选总表。

↑