一句话:把模型当玩具 → Ollama;把模型当服务 → vLLM;两个阶段都要 → 都装,API 层无感切换。
常见问题
吞吐差多少?
单路对话几乎无差;并发 4 路以上 vLLM 的连续批处理(continuous batching)开始拉开差距,8 路并发时总吞吐可达 Ollama 的 3-5 倍——服务场景的硬差距。
部署难度差多少?
Ollama:一行命令;vLLM:pip/Docker + 参数调优(prompt 模板、GPU 内存利用率、量化格式)。前者 5 分钟,后者要读文档——但换来的是生产级稳定性。
能混用吗?
常见组合:开发调试用 Ollama(快),上线切 vLLM(稳),两者都兼容 OpenAI API 格式,前端代码不用改。