SGLang 入门:怎么装、比 vLLM 快在哪、什么时候用

短答案

SGLang 是 vLLM 之外的生产级推理引擎,杀手锏是前缀缓存(RadixAttention):多轮对话/Agent 反复发同一系统提示词时,命中缓存吞吐可达 vLLM 数倍。部署 pip 一装,pip install 'sglang[all]',起服务即 OpenAI 兼容。

一句话:vLLM 解决了「并发批处理」,SGLang 在此之上解决了「重复前缀的浪费」——而你的负载里一定有重复前缀。

前缀缓存为什么值钱

一次 LLM 请求的显存与时间,大头花在系统提示词 + 历史对话的 KV cache 计算上。问题是这些前缀常常原样重复:

  • 多轮对话:每轮都把前面所有轮次重算一遍;
  • Agent/工作流:几十次调用,每次带同一段几千 token 的系统提示词;
  • 批量结构化抽取:同一模板,换不同输入。

SGLang 的 RadixAttention 把算过的 KV cache 按「前缀树」存起来,命中就直接复用,省掉整个前缀的重算。提示词越长、重复率越高,收益越大——Agent 场景实测吞吐翻倍很常见。vLLM 后来也跟进了自动前缀缓存,但 SGLang 在这块起步早、优化深,高频多轮负载仍是第一梯队。

部署五分钟

pip install "sglang[all]"          # 或官方 Docker 镜像

python -m sglang.launch_server \
  --model-path Qwen/Qwen3-32B \
  --context-length 32768 \
  --mem-fraction-static 0.85 \
  --port 30000

起来后就是一个 OpenAI 兼容服务(http://IP:30000/v1),配给 Open WebUI、one-api 网关 或任何 SDK 都行——换引擎不换应用代码。

常用参数:

参数作用经验值
--mem-fraction-static权重+KV cache 占总显存比例0.85(独占机器可到 0.9)
--context-length上下文上限按需,别默认拉满(显存刺客)
--tp 2张量并行卡数双卡 24G 跑 32B FP8
--quantization fp8FP8 量化加载显存减半,速度几乎不掉

三家引擎速查

OllamavLLMSGLang
定位桌面/单机自用生产推理服务生产推理服务(前缀缓存强)
格式GGUFsafetensors/AWQ/FP8safetensors/AWQ/FP8
平台Win/Mac/LinuxLinux(WSL2)Linux(WSL2)
并发弱(排队)强强,重复前缀场景更强
上手一行命令需读文档与 vLLM 相当

选型路线:个人尝鲜 → Ollama 入门;对外提供服务、负载以生成为主 → vLLM;Agent 平台、多轮对话密集、结构化输出多 → SGLang。三家显存下限一样:先按模型库把显存账算清,再谈引擎。

常见问题

SGLang 和 vLLM 到底怎么选?
高并发纯生成场景两家接近,vLLM 生态与文档更成熟;多轮对话、Agent(系统提示词长且重复)、需要高频结构化输出(JSON)→ SGLang 的前缀缓存与约束解码优势明显。跑分新纪录常在两家之间轮换,生产选型建议拿自己的真实负载各压测一小时。
安装要什么环境?
Linux + NVIDIA GPU(驱动 ≥ 535 级别),Python 3.9+:pip install 'sglang[all]'。Windows 原生不支持,走 WSL2 或 Linux——这和 vLLM 一致,是生产引擎的通例。
能跑 GGUF 吗?
不能。SGLang 吃原始 safetensors / FP8 / AWQ,GGUF 是 llama.cpp(Ollama/LM Studio)生态的格式。从 Ollama 迁移过来,要去下原始权重——显存账也按原始/FP8 算,不是 Q4。
显存不够怎么办?
和 vLLM 同思路:--mem-fraction-static 控制权重与 KV cache 的划分;上下文别拉满(128K 上下文的 KV cache 见[长上下文显存账](/guides/kv-cache-vram-math/));多卡用张量并行。32B FP8 大约 35G+,单 24G 卡跑不动是正常的。
↑