RTX 5090 跑 AI 怎么样?

短答案

能跑:70B Q4 单卡(10+ tok/s)、MoE 模型、Flux 全精度、14B 视频全速。32G 显存一步到位,消费级终点站;注意 575W TDP 需要 1200W ATX3.1 电源。

01规格与定位

显存32GB GDDR7(带宽 1792 GB/s)
AI 算力指数
100
(RTX 5090 = 100)
参考价¥16,999(更新 2026-10-01)
功耗 / 发布575W · 2025-01
一句话定位消费级天花板。32G 显存一步到位,本地 70B 不再需要多卡。

02这张卡能跑什么

按推荐显存匹配(舒适体验口径),与 模型库 数据联动:

大模型
Qwen3-32BQwen3-14BQwen3-8BGemma 3 27BGemma 3 12BMistral Small 3.x 24BPhi-4 14B
绘画
Stable Diffusion 1.5SDXL 1.0SD 3.5 LargeFlux.1 devFlux.1 schnellQwen-Image
视频
Wan2.2 1.3BWan2.2 14B(TI2V)LTX-VideoCogVideoX-5B
音乐
ACE-StepYuE(乐)DiffRhythmMusicGen LargeStable Audio Open

编辑部实测口径:Flux dev 全精度、70B Q4 量化单卡、Wan2.2 14B 视频生成、全系列 SD 工作流。

03出现在这些配置单里

04同价位对比

显卡显存算力指数参考价每万元算力
RTX 4090 48GB(魔改)48G90¥18,50048.6

±¥2500 价位带内的其他选择;全量对比见显卡对比总表。

选购要点

定位:本地 AI 的终点。32G 显存消灭「装不下」焦虑,70B/MoE/视频批量一次配齐。整机参考见 30000 元工作站。

劝退点:价格(¥17k)、功耗(575W)、以及——如果你的模型清单里没有 70B 级需求,5070 Ti 能省下一半预算。

常见问题

5090 跑 70B 多快?
Q4 量化约 10-12 tok/s(32G 覆盖率 76%,部分 offload)——日常可用。全显存覆盖需 48G+(双 3090 或专业卡),速度反而更快但折腾成本高。
电费和散热要注意什么?
整机峰值近 1kW:16A 插座、360 水冷、风道良好的全塔机箱是标配;每天 4 小时满载电费约 ¥2.5-3。租房老电路慎入。
为什么不像 4090 时代那样推荐双卡?
5090 无 NVLink 桥接,双卡依赖 PCIe P2P 与框架支持,推理兼容性参差;单卡 32G + offload 是更省心的路线。
和租云比划算吗?
日均 4 小时以上本地回本约 1 年半;间歇性使用先看[云 vs 本地对比](/builds/cloud-vs-local/)的公式再决定。
↑