Ollama 新手入门:装完第一个跑什么模型

短答案

安装一行命令,选模型看显存:8G 跑 qwen3:8b、12G 跑 qwen3:14b、16G 跑 32b 量化(offload)、24G 跑 32b 全速。新手从 7B 开始,别上来就 70B。

按显存对号入座

显存推荐模型体验
8Gqwen3:8b40+ tok/s
12Gqwen3:14b30+ tok/s
16Gqwen3:14b / 32b(Q4, offload)全速 / 10 tok/s
24G+qwen3:32b20+ tok/s

进阶(并发/API 服务)见 vLLM vs Ollama。

第一个模型为什么该是小模型

新手最常见的错误是用第一个模型挑战显存上限——14G 可用显存硬塞 32B,结果 offload 到怀疑人生,得出「本地大模型不行」的错误结论。正确的建立信心路径是反过来的:先跑一个远小于显存的模型(8G 卡跑 8B、16G 卡跑 14B),体验「秒回」的速度感,再逐步上探到显存的 80%,找到自己的舒适边界。模型小一档,质量差距远没有速度差距来得刺眼——14B 和 32B 的中文写作差距,大多数人需要对比才能看出来;20 tok/s 和 8 tok/s 的差距,任何人第一秒就感觉得到。

具体命令只有三条常用的:

ollama run qwen3:14b      # 下载并进入对话(不存在会自动拉取)
ollama list               # 已装模型与体积
ollama rm 模型名          # 删掉不用的(模型 5-40G 一个,硬盘会满)

装完之后的三件小事

第一,确认它真的在用 GPU。ollama ps 看加载状态,显示 100% GPU 才是全速;显示带 CPU 字样说明模型没装进显存(或显存被占用)。这一步能解释 80% 的「为什么我的速度是别人的一半」。

第二,把上下文调到合理值。默认上下文偏小,长文场景用 /set parameter num_ctx 8192 拉到 8K——注意这会多吃 1-3G 显存,拉到 128K 是新手翻车重灾区,显存账见32B 配置分析里的 KV cache 部分。

第三,装个图形前端。Ollama 本体是命令行,配合 Open WebUI(免费开源)就是本地 ChatGPT 界面,支持多会话和历史记录——「命令行劝退」的问题五分钟解决。

模型怎么挑:一个消费建议

Ollama 的模型库里同参数量有无数变体(qwen3/deepseek/gemma/llama…),新手会陷入选择瘫痪。省事的规则:中文场景认准 qwen3 和 deepseek-r1 系(衍生蒸馏版的中文底子最好),其余按显存档位对号入座就好;真的想横向比,先跑同一个 prompt 各试五分钟,比看任何评测都直接。每个模型的量化显存需求,大模型速查库里有精确标注——那里的数字按最便宜达标显卡联动,比 Ollama 库里的标签靠谱。

最后提醒一句预期管理:7B 模型的智力水平是「能对话、能摘要、能简单改写」,不是 GPT 级。把它当离线助手用是惊喜,当旗舰替代品用是失望——需求复杂到 14B/32B 满足不了的时候,正确路径是API 免费档兜底,不是无限加显存。

常见问题

Ollama 怎么安装?
macOS/Windows 官网下载安装包;Linux 一行:curl -fsSL https://ollama.com/install.sh | sh。装完终端跑 ollama run qwen3:7b,模型自动下载运行,无需配环境。
我的显卡该装什么模型?
8G → 7-8B Q4;12G → 14B Q4(甜点);16G → 14B 全速 + 32B offload;24G+ → 32B 全速;无独显 → 7B 纯 CPU(10 tok/s 以内,仅尝鲜)。完整对照表见模型库。
和 LM Studio 怎么选?
Ollama:命令行/服务端首选,生态最大;LM Studio:图形界面 + 模型市场,新手友好。两者后端都是 llama.cpp,性能一致——按界面偏好选。
常见坑有哪些?
①显存被其他程序占用导致 offload 变慢(关掉游戏/浏览器硬件加速);②上下文拉满 128K 吃额外显存;③首次加载慢是硬盘读模型(40G 模型 SSD 上 10 秒,机械盘 1 分钟+)。
↑