KV 缓存硬件百科 · AI 术语一句话注意力机制的「记忆账本」:随上下文长度线性增长,长上下文吃显存的元凶。KV Cache 保存每个 token 的注意键值,尺寸 = 层数 × 上下文 × 隐藏维度。32K 上下文的 KV 缓存可能占数 GB——「显存估算 ×1.2」的余量主要就是它。长上下文用户给显存留足余量。延伸阅读显存估算公式上下文长度