Speculative Decoding 用小模型先猜几个 token,大模型并行验证:接受率高时速度 1.5-2 倍。显存多占一点(小模型),llama.cpp/vLLM 已支持——大显存用户免费的提速开关。
投机解码
硬件百科 · AI 术语
一句话
用小模型草稿加速大模型:速度提升 1.5-2 倍的免费午餐;硬件要求不高,软件支持是关键。
硬件百科 · AI 术语
用小模型草稿加速大模型:速度提升 1.5-2 倍的免费午餐;硬件要求不高,软件支持是关键。
Speculative Decoding 用小模型先猜几个 token,大模型并行验证:接受率高时速度 1.5-2 倍。显存多占一点(小模型),llama.cpp/vLLM 已支持——大显存用户免费的提速开关。