推理与训练

硬件百科 · AI 术语

一句话

AI 负载的两类:推理(用模型)看显存带宽,训练(造模型)看算力与卡间互联——买卡前先分清。

推理 = 用现成模型出结果,显存容量+带宽决定体验;训练 = 调整模型参数,算力、FP 精度、多卡互联(NVLink)决定效率。个人场景 90% 是推理与 LoRA 微调;全参训练是数据中心的事。

延伸阅读

↑