一句话:WSL2 = Windows 桌面 + Linux 工具链的合租方案,跑推理损失个位数百分比,换来的是 vLLM/SGLang 这些 Linux-only 引擎开箱即用。
为什么需要它
本地大模型的主流软件分两派:
| 软件 | Windows 原生 | 说明 |
|---|---|---|
| Ollama / LM Studio | ✅ | 桌面用户直接装,见Ollama 入门 |
| vLLM / SGLang | ❌ Linux | 生产级引擎,官方不支持 Windows 原生 |
| ComfyUI / SD WebUI | ✅ | 绘画生态 Windows 友好 |
想在 Windows 机器上跑 vLLM 或 SGLang,WSL2 是标准答案——不是虚拟机跑慢速模拟,是微软官方的轻量虚拟化,GPU 直通,性能够真。
三步装好
wsl --install -d Ubuntu # 管理员 PowerShell,装完重启
Windows 端装好最新 NVIDIA 驱动,进 Ubuntu 验证:
nvidia-smi # 能看到卡 = GPU 直通成功
然后按 Linux 常规装 Ollama / vLLM 即可,教程同纯 Linux。
三个坑,一次排掉
坑一:内存默认只有一半
WSL2 虚拟机默认吃物理内存的 50%。64G 的机器想给 48G 跑 offload(见96G 内存 offload 32B),在 Windows 用户目录建 .wslconfig:
[wsl2]
memory=48GB
swap=16GB
wsl --shutdown 后重进生效。内存 offload 跑大模型的,这步不做等于自废武功。
坑二:显存「少了」一半
WSL 里 nvidia-smi 显示的总量常比物理显存小——那是 Windows 桌面侧(WDDM 共享)占着。不是被偷走,是分租:关掉 Windows 端吃显存的应用、游戏,可用显存回升。判断能不能跑模型,以实际加载/跑分为准,别只看 nvidia-smi 那行数字。
坑三:/mnt/c 的 IO 陷阱
/mnt/c、/mnt/d 是跨系统挂载,顺序读性能是原生目录的零头。模型权重(GGUF/safetensors)全部放 WSL 原生目录:
mkdir ~/models # 原生 ext4,SSD 上 40G 模型 10 秒加载
Windows 侧要访问就资源管理器输 \\wsl$\Ubuntu\home\你的用户名。
性能口径
- 推理:损失约 5-10%(GPU 半虚拟化开销),tok/s 几乎无感;
- 训练/微调:损失更明显,重度训练建议双系统;
- 显存:上限同物理显存(Windows 侧占用要另算),没有「WSL 再分一半」这回事——那是内存的规则,别混淆。
总结:轻度到中度 Linux 需求,WSL2 是性价比之选;把它当生产训练环境,才需要考虑裸 Linux。