量化(INT4/INT8)

量化把 16bit 权重压到 8bit(Q8)、4bit(Q4)甚至 2bit:70B 模型 FP16 要 140G,Q4 只要 42G——消费级跑大模型全靠它。质量损失在 Q4-Q8 区间很小,Q2 以下开始崩。