本地大模型部署指南:从 8B 到 70B 的硬件路线

本地跑大模型从尝鲜变成了认真选项:模型开源质量够用、量化技术成熟、一张游戏显卡就能起步。这个专题覆盖从「装完 Ollama 第一个模型」到「70B 单卡方案」的全部台阶。

按模型规模对号入座

• Qwen3 本地配置 —— 8B/14B/32B/235B 逐档拆解,国产模型首选参考。
• DeepSeek 本地配置 —— R1/V3 与蒸馏版的现实门槛。
• 32B 需要什么配置 —— 单 24G 卡的甜点规模,大多数人的合理终点。
• 70B 最低配置 —— 42G 显存的几条实现路径(旗舰卡/魔改/双卡/offload)。

平台与内存(被低估的半壁)

推理不在 CPU 上跑,但内存决定 offload 体验:32G 内存够吗、内存通道的影响、内存速度怎么测。进阶平台:HEDT/线程撕裂者、EPYC/至强捡垃圾、Mac 统一内存路线。

工具链

Ollama 新手入门(第一站)→ vLLM 和 Ollama 怎么选(要并发时)→ Windows 还是 Linux。省钱的邪道:魔改显卡值不值得买(2080Ti 22G/3090 48G)。

配套资源:本地大模型场景页(三档整机)、LLM 模型库(逐模型显存标注)、魔改卡专题、显存性价比榜。