双通道与四通道

硬件百科 · 显存与内存

一句话

内存带宽的倍增器:双通道是底线,offload 推理对通道数敏感;HEDT/服务器 4-12 通道。

两个内存通道并行工作,带宽翻倍(DDR5 6000 双通道 ≈ 96GB/s)。CPU offload 推理的速度与内存带宽强相关;四通道(HEDT)与 8 通道(EPYC)平台跑 CPU 推理的优势即来自于此。

延伸阅读

↑