游戏玩家的稳定性标准是「这局别崩」,AI 主机的标准是「这 24 小时别崩」——一夜训练在 97% 进度时蓝屏,损失的不是一局排位,是一晚电费加第二天的工作计划。所以拿游戏机的稳定标准来验收 AI 主机,是我见过最贵的省钱行为:省下的排查时间,都会变成重跑的训练时长。
这篇按症状组织,因为出问题时你手里只有症状。三类症状对应三条排查线:蓝屏或随机重启(内存/硬件错误)、训练中断报 CUDA error(显卡/温度/驱动)、直接黑屏断电(电源保护/过热)。先看症状属于哪类,再往下走。
蓝屏与随机重启:从事件日志入手,不要靠猜
Windows 的 Event Viewer(事件查看器)在稳定性排查里被严重低估了。Windows 日志 → 系统,按时间对齐到崩溃时刻,重点筛两类:
- Kernel-Power 41:系统没有走正常关机流程就断了——电的问题(电源保护、松动、瞬时掉压),不是系统的问题。
- WHEA-Logger 18/19:硬件报了可纠正/不可纠正错误,通常是 CPU、内存或 PCIe 链路。19(不可纠正)出现,基本锁定硬件层,先怀疑内存。
同时把 C:\Windows\Minidump 里的 dump 文件用 WinDbg 打开跑 !analyze -v,读 Probably caused by 那一行——它不总是准,但「指向内存管理」和「指向显卡驱动」足以决定先查哪条线。
DDR5 时代的特殊性:DDR5 不稳的表现经常不是蓝屏,而是无缘无故的重启或开机时内存训练失败(重启几次又能进系统)。这是因为 DDR5 自带纠错,小错误被悄悄修掉了,大错误直接复位。所以 DDR5 用户的排查要更主动,别等蓝屏。
内存:AI 满载对它的要求比游戏高一个档
XMP/EXPO 是厂商超频档,「能开机」和「满载 24 小时零错误」之间隔着很远。推理任务反复读写大块内存,offload 用户尤其如此(内存带宽怎么测讲过测试方法),内存的隐蔽错误会直接变成训练中断。
我的验收标准:TestMem5 用 anta777 extreme 配置跑一晚(8 小时),零错误才算过。过不了的处理顺序:降频一档(6000→5600)→ 放宽时序 → 提升 VDD/VDDQ 电压一档(不熟就别动电压)→ 还不行就跑 JEDEC 默认频率确认「是内存体质问题还是主板布线问题」。降到 5600 稳定,对你跑模型的实际影响远小于一夜崩溃——内存带宽对 offload 场景重要,但稳定性是 1,带宽是后面的 0。
训练中断:CUDA error 的三条常见来路
脚本跑着跑着 CUDA error: unspecified launch failure 或者驱动崩溃恢复,按概率排:
温度。GPU 满载几小时后核心或显存到温度墙,驱动重置。验证方法:HWiNFO64 盯 GPU 的 Thermal 和 Hot Spot——hot spot 比核心高 15-20°C 正常,超过 25°C 说明核心与散热器之间接触出了问题(硅脂干/扣具压力不均)。显存温度单独看,3090 这类卡的背面显存在密排工作流下能到 100°C+,是「跑着跑着掉卡」的惯犯,详细温度标准见风道散热篇。
供电。16pin(12VHPWR)没插到底是 4090/5090 用户的高频翻车——插到底、卡扣到位、线材弯折半径别小于 4cm(弯太急内部熔断的案例已经够多了)。8pin 卡用原生线,转接线能省则省。
超频残留。MSI Afterburner 里给显存拉过的 offset,在推理的长负载下比游戏更容易暴露。排查期全部归零,过测再考虑加回来。
直接黑屏断电:电源保护的三种触发
排插接触、市电波动排除后,黑屏重启基本是电源 OCP/OVP 保护动作。AI 负载的特殊性在于瞬时尖峰:GPU 从低载跃到满载的毫秒级功耗尖峰,峰值能到标称 TDP 的两倍,老电源(没有 ATX 3.0 的 2 倍 excursion 设计)直接触发保护。识别特征:黑屏时风扇停转或猛拉一下、重启后无事发生、固定在负载爬升的瞬间出事。
处理顺序:换一根电源线(十几块钱,排除线材)→ 直插墙插不用排插 → 换一台 ATX 3.0/3.1 电源交叉验证。选电源的算法在功率计算指南里,这里只补一句 AI 负载的修正项:显卡标称 TDP 的瞬时尖峰要按 1.8-2 倍预留,不是 1.2 倍。
验收:什么才算「稳」
我的标准,分两步:
- 过夜测:TestMem5(内存)+ 一次 6 小时以上的真实训练或批量推理(显卡),零中断。
- 对照测:记录满载 2 小时后的核心/Hot Spot/显存/VRM 温度,作为这台机器的「基线」。以后出现异常,先对比基线——温度普遍高了 10°C,是灰堵了或者风扇停转;基线没变但中断了,往内存和电源方向查。
装机排障的终点不是「修好」,是建立这台机器的正常画像。有了基线,90% 的故障在十分钟内就能定位到方向,剩下的才是动手修。