后台高频问题里有一类很典型:「同样 5060 Ti 16G,为什么他 32B 跑 12 tok/s,我只有 6?」显卡相同,差的一定在软件栈。编辑部把这类差距拆开看——真正有效的调优只有三件事,剩下的多半是玄学。
真收益一:并发批处理——吞吐和首字延迟是一对反向杠杆
单请求对话时,显卡大部分算力在闲着;把并发请求合成 batch 一起算(vLLM 的 continuous batching),吞吐可以翻几倍。但代价藏在另一头:batch 越大,单请求的首字延迟越高。
所以「别人的快一倍」经常是一场误会:他快的是吞吐(多人并发场景),你体感的是首字(单人对话场景)。单人使用把并发拉满,是这轮最常见的「负优化」——先想清楚你优化的是哪个指标,再动手。
真收益二:KV 量化——长上下文场景的免费翻倍
上下文拉到 32k 以上时,每生成一个 token 都要搬一遍 KV Cache(账在这里):32B 模型 32k 上下文的 KV 是 16G,比模型本体还贴显存带宽。把 KV 从 FP16 降到 Q8,带宽账直接减半——长上下文场景的吐字速度提升立竿见影,质量损失在对话场景基本无感。
这是「同卡不同速」的第二大来源:对方开了 KV 量化,你没开,长上下文下就是差一半。
真收益三:加载路径——首字延迟的大头经常不在 GPU
提问发出到第一个字出现,中间有一整条流水线:模型从盘上加载(冷启动)、权重进显存、prompt 预填充。很多人的「慢」卡在前两步:模型放在 HDD 或拥挤的 NVMe 上、每次对话重新加载、系统把权重换出内存。把模型库放在读写正常的 NVMe、常驻加载、关掉激进省电,首字延迟能砍掉一大截——一张卡没换,体感换了一代。
玄学区:为什么你调的参数「有用」
论坛里的调优帖充斥着 n_gpu_layers、线程数、上下文窗口微调的「提速 30%」。复测这些数字时要注意一个残酷的事实:推理速度的 run-to-run 波动本身就有 10-30%(温度、后台任务、首跑缓存),不固定条件测三次取中位的「调优」,测的是噪声。
编辑部的方法学底线:固定模型与量化、预热一轮、三次取中位、报告最大最小值。做不到这四条的提速数字,一律当故事听。
最被低估的调优:升级版本
推理框架处在一年吞吐翻倍的迭代期里——带宽公式里的「有效利用率 0.5-0.7」就是被框架优化推着走的。很多人折腾一下午参数的收益,不如一次 upgrade:版本号落后半年的推理栈,和最新的差 20-40% 是常态。
收尾
调优的优先级排序送给所有人:升级版本 → 检查加载路径 → 按场景开 KV 量化与并发 →(然后才轮到)参数微调。前三是免费的确定性收益,第四步开始进入玄学区——而玄学区的门票,是你的 benchmark 方法学。