tokens/s 衡量生成速度:阅读体验 5 tok/s 及格,写作体验 10+ tok/s 舒适。理论上限 ≈ 显存带宽 ÷ 模型量化体积(936GB/s ÷ 42G ≈ 22 tok/s),实测打折到 50-70%。
tokens/s
硬件百科 · AI 术语
一句话
LLM 的吐字速度:10 tok/s 是「可写」分水岭,5 tok/s 只够读;上限 ≈ 带宽 ÷ 模型体积。
硬件百科 · AI 术语
LLM 的吐字速度:10 tok/s 是「可写」分水岭,5 tok/s 只够读;上限 ≈ 带宽 ÷ 模型体积。