TOPS

硬件百科 · GPU 术语

一句话

每秒万亿次运算:AI PC 与 NPU 的营销指标;注意稀疏/稠密口径差一倍,且本地 AI 真正的瓶颈通常是显存与带宽。

TOPS(Tera Operations Per Second)指每秒完成多少万亿次运算,是 NPU、AI PC 营销页上的头号数字。与 TFLOPS 的区别:TOPS 常按整数运算(INT8)计,TFLOPS 按浮点计——同一芯片 INT8 吞吐通常是 FP16 的两倍,数字天然好看一截。

两个防坑口径:稀疏标称——按 2:4 稀疏算出的 TOPS 翻倍,实际负载能不能稀疏化另说;峰值≠实际——营销数字是理论峰值,真实推理先撞显存容量墙,再撞带宽墙,最后才轮到算力。

「多少 TOPS 够用」的粗线:7B 级模型实时对话,几十 TOPS 的算力绰绰有余——所以手机 NPU 都敢标 40+ TOPS。但真正卡住体验的是 8G 显存装不下 14B、272GB/s 带宽喂不饱权重。买 AI 硬件,先看显存与带宽,TOPS 排第三。

延伸阅读

↑