估算式:FP16 体积 = 参数量 × 2 字节,Q4 ≈ ×0.55,Q8 ≈ ×1.05;实际占用再乘 1.2 余量(KV 缓存+激活)。70B Q4 ≈ 42G → 单卡 48G 或 32G+offload;14B Q4 ≈ 10G → 12G 卡舒适。
显存估算公式
硬件百科 · AI 术语
一句话
本地部署的第一课:显存 ≥ 模型量化体积 × 1.2;70B Q4 ≈ 42G、32B Q4 ≈ 20G、14B Q4 ≈ 10G。
硬件百科 · AI 术语
本地部署的第一课:显存 ≥ 模型量化体积 × 1.2;70B Q4 ≈ 42G、32B Q4 ≈ 20G、14B Q4 ≈ 10G。