一句话:vLLM 解决了「并发批处理」,SGLang 在此之上解决了「重复前缀的浪费」——而你的负载里一定有重复前缀。
前缀缓存为什么值钱
一次 LLM 请求的显存与时间,大头花在系统提示词 + 历史对话的 KV cache 计算上。问题是这些前缀常常原样重复:
- 多轮对话:每轮都把前面所有轮次重算一遍;
- Agent/工作流:几十次调用,每次带同一段几千 token 的系统提示词;
- 批量结构化抽取:同一模板,换不同输入。
SGLang 的 RadixAttention 把算过的 KV cache 按「前缀树」存起来,命中就直接复用,省掉整个前缀的重算。提示词越长、重复率越高,收益越大——Agent 场景实测吞吐翻倍很常见。vLLM 后来也跟进了自动前缀缓存,但 SGLang 在这块起步早、优化深,高频多轮负载仍是第一梯队。
部署五分钟
pip install "sglang[all]" # 或官方 Docker 镜像
python -m sglang.launch_server \
--model-path Qwen/Qwen3-32B \
--context-length 32768 \
--mem-fraction-static 0.85 \
--port 30000
起来后就是一个 OpenAI 兼容服务(http://IP:30000/v1),配给 Open WebUI、one-api 网关 或任何 SDK 都行——换引擎不换应用代码。
常用参数:
| 参数 | 作用 | 经验值 |
|---|---|---|
--mem-fraction-static | 权重+KV cache 占总显存比例 | 0.85(独占机器可到 0.9) |
--context-length | 上下文上限 | 按需,别默认拉满(显存刺客) |
--tp 2 | 张量并行卡数 | 双卡 24G 跑 32B FP8 |
--quantization fp8 | FP8 量化加载 | 显存减半,速度几乎不掉 |
三家引擎速查
| Ollama | vLLM | SGLang | |
|---|---|---|---|
| 定位 | 桌面/单机自用 | 生产推理服务 | 生产推理服务(前缀缓存强) |
| 格式 | GGUF | safetensors/AWQ/FP8 | safetensors/AWQ/FP8 |
| 平台 | Win/Mac/Linux | Linux(WSL2) | Linux(WSL2) |
| 并发 | 弱(排队) | 强 | 强,重复前缀场景更强 |
| 上手 | 一行命令 | 需读文档 | 与 vLLM 相当 |
选型路线:个人尝鲜 → Ollama 入门;对外提供服务、负载以生成为主 → vLLM;Agent 平台、多轮对话密集、结构化输出多 → SGLang。三家显存下限一样:先按模型库把显存账算清,再谈引擎。
常见问题
SGLang 和 vLLM 到底怎么选?
高并发纯生成场景两家接近,vLLM 生态与文档更成熟;多轮对话、Agent(系统提示词长且重复)、需要高频结构化输出(JSON)→ SGLang 的前缀缓存与约束解码优势明显。跑分新纪录常在两家之间轮换,生产选型建议拿自己的真实负载各压测一小时。
安装要什么环境?
Linux + NVIDIA GPU(驱动 ≥ 535 级别),Python 3.9+:pip install 'sglang[all]'。Windows 原生不支持,走 WSL2 或 Linux——这和 vLLM 一致,是生产引擎的通例。
能跑 GGUF 吗?
不能。SGLang 吃原始 safetensors / FP8 / AWQ,GGUF 是 llama.cpp(Ollama/LM Studio)生态的格式。从 Ollama 迁移过来,要去下原始权重——显存账也按原始/FP8 算,不是 Q4。
显存不够怎么办?
和 vLLM 同思路:--mem-fraction-static 控制权重与 KV cache 的划分;上下文别拉满(128K 上下文的 KV cache 见[长上下文显存账](/guides/kv-cache-vram-math/));多卡用张量并行。32B FP8 大约 35G+,单 24G 卡跑不动是正常的。