向量与卡间互联(个人多卡)

硬件百科 · GPU 术语

一句话

个人多卡的正确姿势:PCIe 直连推理分层即可;训练才需要 NVLink/桥接器。

双卡跑 70B(Q4 分层)走 PCIe ×8/x16 就够,卡间数据交换量小;全参训练的梯度同步才吃互联带宽(NVLink/水冷桥)。个人用户别为 NVLink 溢价买单——50 系消费卡已砍掉该功能。

延伸阅读