一句话:把模型当玩具 → Ollama;把模型当服务 → vLLM;两个阶段都要 → 都装,API 层无感切换。
它们根本不在同一个生态位
Ollama 是「本地模型的包管理器」:ollama run qwen3:14b 一行命令,模型下载、量化、上下文配置全帮你办好,目标是让任何人在 5 分钟内跑起一个大模型。代价是它按「单用户桌面场景」做默认优化:请求串行排队、并发上来后吞吐断崖。
vLLM 是「推理服务引擎」:核心武器是 PagedAttention + continuous batching——显存像操作系统管理内存页一样分页管理 KV cache,多条请求的 batch 动态拼车,GPU 始终喂饱。代价是每个细节都要你自己定:上下文长度、gpu-memory-utilization、量化格式、chat template。
能力对照
| 维度 | Ollama | vLLM |
|---|---|---|
| 安装 | 一行命令 | pip / Docker + 配置 |
| 模型格式 | GGUF(社区量化版,开箱即用) | AWQ / GPTQ / FP8 / 原始 safetensors |
| 并发吞吐 | 1-4 路尚可,8 路+排队 | 连续批处理,8 路并发吞吐 3-5 倍 |
| OpenAI 兼容 API | ✅ | ✅ |
| 多用户/鉴权/监控 | ❌ 自己加 | ❌ 自己加(但暴露指标) |
| 适合 | 桌面端、开发调试、单机自用 | 团队服务、Agent 后端、对外 API |
一个容易忽略的细节:量化格式路线不同。Ollama 生态默认消费 GGUF(llama.cpp 系),同一张卡上 GGUF 的推理效率通常低于 vLLM 用的 AWQ/FP8——单路差距 10-20%,并发场景被批处理再放大。这就是「同样跑 14B,vLLM 显得更快」的第二个原因。
三种典型走法
- 纯个人:Ollama 一路用到底。配合新手入门指南装完第一个模型,体验闭环就是终点,没有理由上 vLLM。
- 个人 → 服务:开发期 Ollama(改提示词、调工作流快),上线切 vLLM。两者都说 OpenAI 方言,应用代码里只改一个 base_url。唯一的坑:两边对同一模型的默认 chat template 偶有差异,上线前用同一段对话对拍输出。
- 一开始就是服务:Agent 平台、公司内部知识库、给产品接的后端——直接 vLLM,别在 Ollama 上浪费时间。并发一上来再迁移,排查「为什么排队」的日子不好过。
显存账是共同的下限
无论哪个引擎,跑得动的前提一样:模型权重 + KV cache 都要装进显存。14B Q4 约 9G 权重,32B Q4 约 20G——并发每多一路,KV cache 还要额外吃 1-3G(与上下文长度成正比,vLLM 的分页管理把这部分利用率提到最高)。配置怎么选,见本地跑 32B 配置指南与70B 最低配置;平台差异(内存通道、HEDT 多卡)在本地大模型场景页有完整展开。
判断公式:请求来源是一个人的键盘 → Ollama;请求来源是代码里的 requests.post → vLLM。