大显存显卡全景:24G 到 288G 每档买什么、能跑什么

短答案

三条硬账:①单位显存最便宜是二手 A40 48G(¥250/G)与 3090 24G(¥262/G);②48G 是 70B 全速的生产力甜点、96G 工作站卡 PRO 6000(¥667/G)反而比特供 H20(¥1,146/G)便宜;③288G 也装不下 1T MoE 的 Q4(380G+)——显存竞赛追不完,按模型档位买、追不上的档去租。

一句话:大显存市场是三个平行世界——魔改玩家的桌面、工作站的机架、数据中心的整机;同一 G 显存价格差四倍,先定档位,再定世界。

档位地图(2026-11 渠道口径)

档位代表卡参考价¥/G这档能跑什么
24G3090(二手)/ 4090 24G¥6,299 / ¥16,999¥262 / ¥70832B Q4 全速;70B 只能 offload
32G4080 魔改 / 5090¥13,999 / ¥33,999¥437 / ¥1,06232B Q4 + 超长上下文舒适档
48GA40(二手)/ A6000 / 4090 魔改 / 6000 Ada / PRO 5000 BW¥11,999-39,999¥250-83370B Q4 单卡全速——生产力甜点
80GA100(拆机)/ H100¥58,000 / ¥199,000¥725 / ¥2,48870B FP16 单卡;大 KV 多并发
96GPRO 6000 Blackwell / H20 96G¥63,999 / ¥110,000¥667 / ¥1,14670B 全精度舒适;90B 级 Q4 可装
141GH20 141G / H200¥140,000 / ¥319,000¥993 / ¥2,262Qwen3-235B Q4 单卡装下
192GMI300X / B200¥188,000 / ¥420,000¥979 / ¥2,188235B FP8 单卡;8 卡伺候 671B 级
288GMI355X / B300¥239,000 / ¥550,000¥830 / ¥1,910235B FP8 + 大 KV;671B Q4 仍需双卡

三个反直觉读表结论:

  1. ¥/G 最低的不是旗舰,是退役数据中心卡与上代工作站卡(A40 ¥250/G、3090 ¥262/G)——大厂折旧完的资产,个人接盘正好;
  2. 96G 档的工作站卡比中国特供数据中心卡便宜(PRO 6000 ¥667/G vs H20 ¥1,146/G):工作站卡没有零售税与合规溢价,代价是 1.8TB/s vs 4TB/s 的带宽差距;
  3. 涨价周期扭曲了 24-32G 档:5090(¥1,062/G)行情溢价后,单位显存价格比 A100 还贵——2026 年「加钱上大显存」比「买最新消费旗舰」划算得多。

档位 × 你的模型(倒着查)

  • 只跑 32B 及以下 → 24G 足够,别为大显存付费;
  • 要 70B Q4 全速(本地质量分水岭)→ 48G 档,预算 ¥1.2 万(A40 二手)起步;
  • 要 70B FP16 / 大并发长上下文 → 80-96G 档;
  • 要 235B MoE 进显存 → 141G 档(H20 141G 是最低门票);
  • 要 671B/1T 级 → 288G 也只是起步配置,先算租:云 GPU 成本与企业 TCO 三年账。

三条路线的世界观

魔改消费卡工作站专业卡数据中心卡
代表4090 48G ¥27kA40 ¥12k / PRO 6000 ¥64kA100 ¥58k → B300 ¥550k
¥/G¥437-562¥250-833¥725-1,910
保修店保(赌商家)渠道/店保渠道(整机为主)
散热桌面风冷/水冷被动/涡轮,需机架风道SXM 整机/机架
生态游戏卡全兼容ECC/虚拟化/专业驱动NVLink/整机集群
适合个人炼丹桌小团队机房企业生产/租

三条路线的深挖文章:魔改的验卡与风险 → 魔改显卡全解析;工作站卡的定位与选购 → 专业卡选购指南;数据中心卡的采购与租赁 → 数据中心 GPU 入门,其中最划算的捡漏姿势 → 二手数据中心卡怎么捡。

别忘了带宽

显存容量决定「装不装得下」,带宽决定「跑多快」——同是 48G,A40 的 696GB/s 与 PRO 5000 Blackwell 的 1,344GB/s 出图/吐字速度差近一倍。挑好档位后,在同档里尽量选带宽高的(¥/G 之外再看 ¥/(GB/s))。算力与带宽怎么折算成实际速度 → 显存带宽怎么决定吐字速度。

数据来源:价格为本站硬件库 2026-11 渠道/二手口径(整机渠道价随供需波动,采购前多家询价);显存需求按 Q4 权重 + KV cache 余量估算,模型量化口径见模型库。

常见问题

单位显存价格是什么意思?怎么用?
整卡价 ÷ 显存 GB。同样 48G,A40(¥250/G)与 PRO 5000 Blackwell(¥833/G)差三倍多——差距买的是带宽、算力与保修。先按「能跑什么」定档位,再在档位内用 ¥/G 比价,两个维度一起看才不被参数表绕晕。
48G 为什么被称为甜点?
70B Q4 权重约 42G,48G 是单卡全速跑 70B 的最低档——70B 恰好是本地生产力的质量分水岭。这一档卡选择也最丰富:魔改 4090(¥27k)、二手 A40(¥12k)、A6000(¥15k)、6000 Ada(¥35k),丰俭由人。
288G 都买上了,为什么还跑不了 DeepSeek-R1?
671B MoE 的 Q4 权重仍要 380G+,288G 单卡装不下,双卡才起步——这正是消费级被锁 32G、数据中心卡逐级抬价的商业逻辑:显存军备竞赛永远比你的钱包跑得快。1T 级模型的正确姿势是 API 或按小时租集群。
魔改卡、工作站卡、数据中心卡怎么选?
个人炼丹桌:魔改 4090 48G(消费生态最顺,验卡要狠);小团队机房:二手 A40/A6000 或清仓 6000 Ada(被动/涡轮散热要配机架风道);企业生产:H20/H200/MI 系走整机渠道,或直接租。详见下文三条路线对比表。
买还是租?
稳态高利用率(日均 >8h)买,波峰与试验期租。96G 以下买断的回本周期通常 12-18 个月;141G+ 的整机渠道价波动大,租的灵活性溢价更划算。完整 TCO 算法见企业三年账。
↑