Windows WSL2 跑大模型:设置、显存减半的坑与性能损失实测口径

短答案

能跑,而且好用——前提是避开三个坑:①内存默认只给一半,改 .wslconfig;②显存「看着少一半」是 WDDM 共享显示,不是真被吃;③模型放 WSL 原生目录,别放 /mnt/c(IO 慢 10 倍)。推理性能损失约 5-10%,可接受。

一句话:WSL2 = Windows 桌面 + Linux 工具链的合租方案,跑推理损失个位数百分比,换来的是 vLLM/SGLang 这些 Linux-only 引擎开箱即用。

为什么需要它

本地大模型的主流软件分两派:

软件Windows 原生说明
Ollama / LM Studio✅桌面用户直接装,见Ollama 入门
vLLM / SGLang❌ Linux生产级引擎,官方不支持 Windows 原生
ComfyUI / SD WebUI✅绘画生态 Windows 友好

想在 Windows 机器上跑 vLLM 或 SGLang,WSL2 是标准答案——不是虚拟机跑慢速模拟,是微软官方的轻量虚拟化,GPU 直通,性能够真。

三步装好

wsl --install -d Ubuntu          # 管理员 PowerShell,装完重启

Windows 端装好最新 NVIDIA 驱动,进 Ubuntu 验证:

nvidia-smi                       # 能看到卡 = GPU 直通成功

然后按 Linux 常规装 Ollama / vLLM 即可,教程同纯 Linux。

三个坑,一次排掉

坑一:内存默认只有一半

WSL2 虚拟机默认吃物理内存的 50%。64G 的机器想给 48G 跑 offload(见96G 内存 offload 32B),在 Windows 用户目录建 .wslconfig:

[wsl2]
memory=48GB
swap=16GB

wsl --shutdown 后重进生效。内存 offload 跑大模型的,这步不做等于自废武功。

坑二:显存「少了」一半

WSL 里 nvidia-smi 显示的总量常比物理显存小——那是 Windows 桌面侧(WDDM 共享)占着。不是被偷走,是分租:关掉 Windows 端吃显存的应用、游戏,可用显存回升。判断能不能跑模型,以实际加载/跑分为准,别只看 nvidia-smi 那行数字。

坑三:/mnt/c 的 IO 陷阱

/mnt/c、/mnt/d 是跨系统挂载,顺序读性能是原生目录的零头。模型权重(GGUF/safetensors)全部放 WSL 原生目录:

mkdir ~/models     # 原生 ext4,SSD 上 40G 模型 10 秒加载

Windows 侧要访问就资源管理器输 \\wsl$\Ubuntu\home\你的用户名。

性能口径

  • 推理:损失约 5-10%(GPU 半虚拟化开销),tok/s 几乎无感;
  • 训练/微调:损失更明显,重度训练建议双系统;
  • 显存:上限同物理显存(Windows 侧占用要另算),没有「WSL 再分一半」这回事——那是内存的规则,别混淆。

总结:轻度到中度 Linux 需求,WSL2 是性价比之选;把它当生产训练环境,才需要考虑裸 Linux。

常见问题

WSL2 里要单独装 NVIDIA 驱动吗?
不要,重复装反而坏。Windows 端装最新 NVIDIA 驱动(自带 WSL 支持),WSL2 里 nvidia-smi 直接能用;WSL 内只需要装 CUDA Toolkit(编译用),运行时库走宿主驱动。
为什么 nvidia-smi 显示显存只有一半?
Windows 的 WDDM 会拿走一部分显存做共享显示内存(另一块屏幕/桌面都在用 GPU)。WSL 里看到的可用显存 = 总量 − Windows 侧占用。桌面关掉吃显存的应用(浏览器硬件加速是大头)、单屏运行,可用量明显回升。
模型放在 D 盘再 /mnt/d 访问行不行?
能读,但慢得多:/mnt/* 走 9P 协议跨文件系统,顺序读可能只有原生 ext4 的几分之一——40G 的模型加载从 10 秒变 1 分钟。模型库放 WSL 原生目录(~/models),Windows 侧要看文件就 \wsl$ 进来。
和双系统、纯 Windows 比怎么选?
纯 Windows 能满足(Ollama/LM Studio/ComfyUI 都有 Windows 版)就别折腾;要用 Linux-only 工具链(vLLM/SGLang/Distiller)→ WSL2 最省事;天天重度训练 → 双系统或纯 Linux,拿到全部性能与全部显存。
↑