按显存对号入座
| 显存 | 推荐模型 | 体验 |
|---|---|---|
| 8G | qwen3:8b | 40+ tok/s |
| 12G | qwen3:14b | 30+ tok/s |
| 16G | qwen3:14b / 32b(Q4, offload) | 全速 / 10 tok/s |
| 24G+ | qwen3:32b | 20+ tok/s |
进阶(并发/API 服务)见 vLLM vs Ollama。
第一个模型为什么该是小模型
新手最常见的错误是用第一个模型挑战显存上限——14G 可用显存硬塞 32B,结果 offload 到怀疑人生,得出「本地大模型不行」的错误结论。正确的建立信心路径是反过来的:先跑一个远小于显存的模型(8G 卡跑 8B、16G 卡跑 14B),体验「秒回」的速度感,再逐步上探到显存的 80%,找到自己的舒适边界。模型小一档,质量差距远没有速度差距来得刺眼——14B 和 32B 的中文写作差距,大多数人需要对比才能看出来;20 tok/s 和 8 tok/s 的差距,任何人第一秒就感觉得到。
具体命令只有三条常用的:
ollama run qwen3:14b # 下载并进入对话(不存在会自动拉取)
ollama list # 已装模型与体积
ollama rm 模型名 # 删掉不用的(模型 5-40G 一个,硬盘会满)
装完之后的三件小事
第一,确认它真的在用 GPU。ollama ps 看加载状态,显示 100% GPU 才是全速;显示带 CPU 字样说明模型没装进显存(或显存被占用)。这一步能解释 80% 的「为什么我的速度是别人的一半」。
第二,把上下文调到合理值。默认上下文偏小,长文场景用 /set parameter num_ctx 8192 拉到 8K——注意这会多吃 1-3G 显存,拉到 128K 是新手翻车重灾区,显存账见32B 配置分析里的 KV cache 部分。
第三,装个图形前端。Ollama 本体是命令行,配合 Open WebUI(免费开源)就是本地 ChatGPT 界面,支持多会话和历史记录——「命令行劝退」的问题五分钟解决。
模型怎么挑:一个消费建议
Ollama 的模型库里同参数量有无数变体(qwen3/deepseek/gemma/llama…),新手会陷入选择瘫痪。省事的规则:中文场景认准 qwen3 和 deepseek-r1 系(衍生蒸馏版的中文底子最好),其余按显存档位对号入座就好;真的想横向比,先跑同一个 prompt 各试五分钟,比看任何评测都直接。每个模型的量化显存需求,大模型速查库里有精确标注——那里的数字按最便宜达标显卡联动,比 Ollama 库里的标签靠谱。
最后提醒一句预期管理:7B 模型的智力水平是「能对话、能摘要、能简单改写」,不是 GPT 级。把它当离线助手用是惊喜,当旗舰替代品用是失望——需求复杂到 14B/32B 满足不了的时候,正确路径是API 免费档兜底,不是无限加显存。