Instinct MI300X 192GB 跑 AI 怎么样?

短答案

A 家数据中心主力:192G 大显存 + 5.3TB/s,单卡塞下 MoE 巨兽;ROCm 生态在推理侧已成熟,训练侧仍在追赶 CUDA。

01规格与定位

定位数据中心卡 · AMD
显存192GB HBM3(带宽 5300 GB/s)
AI 算力指数
130
(RTX 5090 = 100)
功耗 / 发布750W · 2023-12
参考价¥188,000 (整机/渠道询价)(更新 2026-11-04)
一句话定位A 家数据中心主力:192G 大显存 + 5.3TB/s,单卡塞下 MoE 巨兽;ROCm 生态在推理侧已成熟,训练侧仍在追赶 CUDA。

02这张卡能跑什么

按推荐显存匹配(舒适体验口径),与 模型库 数据联动:

大模型
Qwen3-32BQwen3-14BQwen3-8BLlama 3.3 70BGemma 3 27BGemma 3 12BMistral Small 3.x 24BPhi-4 14B
绘画
Stable Diffusion 1.5SDXL 1.0SD 3.5 LargeFlux.1 devFlux.1 schnellQwen-Image
视频
Wan2.2 1.3BWan2.2 14B(TI2V)HunyuanVideoLTX-VideoCogVideoX-5B
音乐
ACE-StepYuE(乐)DiffRhythmMusicGen LargeStable Audio Open

编辑部实测口径:405B 级模型单机推理、高并发推理服务、ROCm 生态训练。

03出现在这些配置单里

04同价位对比

显卡显存算力指数参考价点评
H100 80GB SXM(数据中心)80G135¥199,000数据中心标杆:Transformer 引擎 + NVLink,训练与高并发推理的基准线;个人接触它的正确方式是按小时租,不是买。

±35% 价位带内的其他选择;全量对比与筛选见显卡专区总表。

一句话:A 家数据中心主力:192G 大显存 + 5.3TB/s,单卡塞下 MoE 巨兽;ROCm 生态在推理侧已成熟,训练侧仍在追赶 CUDA。它是数据中心卡,192GB HBM3 与 5300GB/s 带宽决定了它能塞下并喂饱多大的模型;AI 算力指数 130(RTX 5090 = 100)。

这类卡没有电商零售价,走整机/集成商渠道,价格随供需波动极大。个人与中小团队更现实的用法是按小时租用(云 GPU 榜单);确定要采购,先拿本页参数对多家渠道询价。显卡专区筛选总表。

↑