MoE(Mixture of Experts)每次推理只激活部分「专家」:总参数 671B、激活 37B,显存占用看总参数(装得下)、速度看激活(跑得快)。本地部署 MoE 是大内存(96G+)的新场景。
MoE(混合专家)
硬件百科 · AI 术语
一句话
激活小、总参数大的架构:DeepSeek 系让 671B 的显存账变成「激活 37B」;大显存+大内存的新甜点。
硬件百科 · AI 术语
激活小、总参数大的架构:DeepSeek 系让 671B 的显存账变成「激活 37B」;大显存+大内存的新甜点。