H20 96GB 跑 AI 怎么样?

短答案

中国特供推理卡:算力被阉但 96G HBM3 + 4TB/s 带宽全保留——推理吞吐能打、训练场景绕行;SXM 整机为主,PCIe 有价无货。

01规格与定位

定位数据中心卡 · NVIDIA
显存96GB HBM3(带宽 4000 GB/s)
AI 算力指数
78
(RTX 5090 = 100)
功耗 / 发布400W · 2024-01
参考价¥110,000 (合规渠道单卡口径(8 卡整机为主))(更新 2026-11-19)
一句话定位中国特供推理卡:算力被阉但 96G HBM3 + 4TB/s 带宽全保留——推理吞吐能打、训练场景绕行;SXM 整机为主,PCIe 有价无货。

02这张卡能跑什么

按推荐显存匹配(舒适体验口径),与 模型库 数据联动:

大模型
Qwen3-32BQwen3-14BQwen3-8BLlama 3.3 70BLlama 4 ScoutGemma 3 27BGemma 3 12BMistral Small 3.x 24BPhi-4 14B
绘画
Stable Diffusion 1.5SDXL 1.0SD 3.5 LargeFlux.1 devFlux.1 schnellQwen-Image
视频
Wan2.2 1.3BWan2.2 14B(TI2V)Wan 2.5-S1HunyuanVideoLTX-VideoCogVideoX-5B
音乐
GPT-SoVITSCosyVoice 2ACE-StepYuE(乐)DiffRhythmMusicGen LargeStable Audio Open

编辑部实测口径:70B FP16 单卡全速、96G 大 KV 长上下文推理、8 卡 MoE 推理集群。

03出现在这些配置单里

04同价位对比

显卡显存算力指数参考价点评
H20 141GB SXM(数据中心·中国特供)141G80¥140,000H20 的大显存续作:141G HBM3e 单卡即可装下 235B Q4;算力仍是特供口径,买它本质是买显存与带宽,重训练看别的。
L40S(数据中心)48G72¥78,000数据中心推理主力:48G + 双槽涡轮,机房风冷即可部署,不需要液冷;推理和图形双修,训练还是看 H/B 系。

±35% 价位带内的其他选择;全量对比与筛选见显卡专区总表。

编辑部结论:中国特供推理卡:算力被阉但 96G HBM3 + 4TB/s 带宽全保留——推理吞吐能打、训练场景绕行;SXM 整机为主,PCIe 有价无货。它是数据中心卡,96GB HBM3 与 4000GB/s 带宽决定了它能塞下并喂饱多大的模型;AI 算力指数 78(RTX 5090 = 100)。

H20 的存在逻辑是「特供」:FP64/互联规格大幅削减,但显存容量与带宽一字未减——这恰好是 LLM 推理最吃的两项。70B FP16 单卡全速、96G KV cache 撑超长上下文,8 卡整机做 MoE 推理大队是它在国内的主流岗位。训练与科学计算请绕行(H100/H200 或国产 昇腾/摩尔线程)。

这类卡没有电商零售价,合规渠道以 HGX 八卡整机交易为主(单卡口径约 ¥11 万,随政策与供需波动)。个人与中小团队更现实的用法是按小时租用(云 GPU 榜单);确定要采购,先拿本页参数对多家渠道询价,大显存全景指南有买/租分界线。

↑