门槛速查
| 任务 | 最低显存 | 舒适显存 | 时间参考(1000 样本) |
|---|---|---|---|
| SDXL LoRA | 12G | 16G | 1-2h |
| Flux LoRA | 16G | 24G | 3-5h |
| 7B QLoRA | 10G | 16G | 3-4h |
| 14B QLoRA | 16G | 24G | 6-8h |
训练和推理是两种显存压力
推理时显存只要装下权重 + 一点缓存;训练要多三样:梯度、优化器状态、激活值——显存需求直接翻倍起步。这就是为什么「16G 推理很舒服」和「16G 训练很勉强」同时成立:推理用 60% 显存的空间,训练要 110%。
所以「我这张卡能不能训」的答案,不看卡的档次看容量档位:16G 是训练的门槛档(靠梯度检查点、batch 1、FP8 底模这些省显存的手段凑够),24G 是舒适档(能开 batch 2、不需要关功能),32G 以上是「想怎么训怎么训」。这和推理的选型逻辑(显存优先)一致,只是刻度整体上移了一档。
显卡参数里,训练真正在乎的是什么
除了容量,训练场景对硬件还有两个推理不在意的权重:
显存带宽,训练每步都要读写全部权重和梯度,带宽慢 = 每一步都慢,SDXL LoRA 从 8 小时变 12 小时就是带宽的账(推理带宽原理相同,出图加速篇讲过)。
散热持续性,几小时的连续满载是推理和训练的共同点,显存和 VRM 的温度墙同样适用于训练(散热治理的三个温度读数照常适用)。
反而不重要的:游戏跑分、光追、CPU 核心数(数据加载六核足够)。用游戏帧率推断训练性能,是新手最常见的判断错误。
云还是本地:一道简单的除法
租卡 ¥2/h,本地 24G 卡按整机 ¥1.5 万、三年折旧算月持有 ¥420。月训练时长 × ¥2 与 ¥420 比——21 小时是分水岭。月训 10 小时,云花 ¥20,本地花 ¥420,五倍差价;月训 50 小时,云 ¥100 开始和本地打平,但你还赚到了推理用的显卡。偶尔训练的人买卡,是最常见的预算错配;反过来天天训的人用云,是另一种。
实操上建议「云起步、本地过渡、按需买断」:第一个 LoRA 用AutoDL 跑通(顺便验证数据集质量,垃圾数据训十遍也白搭),月消耗稳定超过 20 小时再考虑 24G 整机。QLoRA 的量化细节,另一篇32B 配置分析里有同样的原理可参考。