本地跑 32B 模型需要什么配置?Qwen3-32B 实战

短答案

32B Q4 ≈ 20G 显存 + 2-4G 上下文余量:24G 卡(3090/5090)全速 20+ tok/s;16G 卡 offload 跑 8-12 tok/s(可用);内存建议 64G。

32B 是本地大模型的甜点规格:能力跨入生产力档、显存需求仍在消费级射程内。

GeForce RTX 3090 24GB(二手) · 二手市场大显存之王。24G 跑 32B 从容,但无保修、功耗高,认准个人自用卡。
24G 显存 AI 算力 38

32B 全速运行的最低成本方案

模型选型:模型库。

先算显存账:32B 为什么卡在 16G 和 24G 之间

Qwen3-32B 这类 32B 密集模型的 Q4 量化,权重体积约 18-20G;再加 KV cache(上下文 8K 时约 1-2G,32K 时 4-6G)和运行时开销,实际需求:

量化权重8K 上下文总需求24G 卡16G 卡
Q4(推荐)≈19G21-23G✅ 全速❌ offload
Q3≈15G17-19G✅ 宽裕⚠️ 极限/降上下文
Q5/Q623-27G25G+❌(3090 出局)❌

三个直接推论:24G 是 32B Q4 的「全速门票」;16G 只能靠 offload(把部分层放内存)换取可用性;想要 Q5 以上精度或多开上下文,直接看 32G+(5090/4080 32G 魔改)。量化格式与速度的取舍原理,和70B 方案分析是同一套账,可以对照读。

三档配置与真实速度

档位显卡内存32B Q4 体验整机参考
入门5060 Ti 16G64Goffload 8-12 tok/s,日常对话可用¥6-8k
甜点二手 3090 24G64G全速 18-22 tok/s,长文生产力¥9-10k
旗舰5090 32G96G全速 30+ tok/s,长上下文/多模型常驻¥30k

tok/s 的体感换算:10 tok/s ≈ 一秒五个汉字,阅读速度内,「能用」;20 tok/s ≈ 一屏一屏出,「舒服」;低于 8 tok/s 的长文生成,大部分人会失去耐心。offload 档位的核心变量是内存带宽——双通道是底线,四通道平台明显更从容,展开见内存通道指南。

32B 值不值得比 14B 多花一倍钱

值得,但看用途。32B 对 14B 的提升集中在:复杂推理链(数学/逻辑)、长文一致性(万字级改写)、代码理解。这三样恰好是「生产力」和「玩具」的分界线——用本地模型写方案、改代码、做研究,32B 是起步规格;只是聊天问答、翻译润色,14B 够用省一半钱(14B 门槛见 Qwen3 配置分解)。

另一个值得知道的趋势:MoE 架构正在改写这道题——35B 总参数 / 3B 激活的模型(如 Qwen 3.6-35B-A3B)显存占用接近 35B、速度却像 3B,16G 卡的「能跑上限」因此上移了一档(详见开源模型 Q3 检阅)。买卡前先去模型库核对你目标模型的显存标注,别按总参数吓自己。

下单前的最后核对

  • 主力用途是 32B? → 甜点档 24G,别在 16G 上将就,offload 的耐心成本天天付。
  • 偶尔跑跑? → 16G 起步即可,把差价留给硬盘和内存(模型库 64G 是舒适线)。
  • 还想上 70B? → 直接看70B 最低配置,一步规划到位,避免买两次。
  • 推理引擎怎么选? → 自用 Ollama 起步,要并发上 vLLM。

一句话:32B 是「本地 AI 从玩具变工具」的那道门——门框是 24G 显存,门把手是 20 tok/s。

常见问题

16G 卡跑 32B 值不值?
看耐心:offload 后 8-12 tok/s,日常对话可接受,长文生成会等。若 32B 是主力模型,24G 卡(二手 3090 ¥5.5k)是质变;偶尔用,16G 凑合。
32B 比 14B 强多少?
中文长文/复杂推理/代码明显更强一档——这是「本地生产力」的门槛级差异。显存允许就上 32B,它也是多数开源评测的甜点规格。
跑 32B 的整机预算?
入门 16G offload:¥9.6k;全速 24G(二手 3090):¥9.4k 学生档;旗舰 5090 + 96G:¥3 万。分别对应[本地大模型场景](/scenarios/local-llm/)三档。
↑