深度学习训练配置指南(微调 / LoRA)

需求分析:训练吃什么资源

训练与推理的资源画像完全不同:

1. 显存容量——装的不只是模型:参数 + 梯度 + 优化器状态 + 激活值,全参训练约是推理的 4–6 倍,QLoRA 可压回 1.5 倍以内。
2. CPU 与内存——数据管道决定 GPU 利用率;64G 内存 + 多核 CPU 是不让显卡饿肚子的前提。
3. 硬盘——数据集与 checkpoint 双重开销,训练中间产物动辄几十 G,2TB 起。
4. 时间成本——训练时长 × 电费,是本地 vs 云的真实对比口径(详见云 vs 本地)。

一句话:微调用 QLoRA 压显存,钱花在数据管道上;重训练直接上云。

选购要点

• 入门(¥9k 档):5060 Ti 16G + 64G 内存——SD/Flux LoRA、7B QLoRA。
• 主流(¥16.6k 档):5080 16G + 4TB——14B LoRA 工业级生产。
• 专业(¥31.6k 档):5090 32G + 96G + 双 4TB——70B LoRA、大 batch,同时是全能工作站。