显存带宽怎么决定大模型吐字速度?

推理的本质是搬运:生成每个 token,都要把模型全部权重从显存读一遍。20G 的 32B 模型,每吐一个字就是一次 20GB 的读取——所以吐字速度的物理上限由带宽决定,和 Tensor 算力关系不大。

一、公式与口算

tok/s ≈ 显存带宽 × 利用率(0.5-0.7) ÷ 模型体积(GB)

三个口算案例(利用率取 0.55):

公式反着用更有价值:预算定死时,先确定要跑的模型体积,再倒推带宽下限。「想跑 32B 还要 20 tok/s」→ 需要 ≥730GB/s → 候选立刻缩到 3080 魔改/5070 Ti/5080 这一档。

二、带宽怎么算:位宽 × 等效频率

显存带宽 = 位宽(bit) × 等效频率 ÷ 8。位宽是显存控制器到颗粒的「车道数」,等效频率是「车速」:

两个推论:

1. 位宽是硬伤,频率是补丁:4060 Ti 16G 显存大(128bit × 18Gbps = 448GB/s),跑 Flux FP8 能装下,但吐字与出图速度被 448GB/s 锁死——「同价位带宽最差的大显存」,买前想清楚。
2. 50 系的 GDDR7 是代际红利:5070 Ti(896GB/s)>5080(960GB/s)的带宽已经越过 30 系旗舰 3090(936GB/s),而价格只有它当年的一半。

三、同显存选卡:带宽对照表

16G 档(2026 年在售主力)与 24G+ 档的关键对比:

结论:大模型用途,5070 Ti 是 16G 档的带宽甜点(比 5060 Ti 快一倍);24G 档二手 3090 的每元带宽至今无敌;只有 70B 级刚需才值得为 48G 魔改付溢价。完整对比进 显卡专区 筛选。

四、三个例外

• Prompt 阶段(prefill)吃算力不吃带宽:首字延迟与 Tensor 算力相关,这就是为什么弱卡「读长文慢、吐字不慢」;
• 上下文越长,吐字越慢:每步还要读 KV 缓存,账见 KV Cache 显存账;
• MoE 模型按激活参数算:激活 3B 的模型,带宽账只对 3B 部分,完整推导见 CPU 推理带宽。

把「能不能跑」和「多快」分开决策:显存优先原理 定容量,显存分档 定档位,本篇定速度。