企业 AI 算力:自建还是租云?一笔三年 TCO 总账

短答案

只看一个数:利用率。日均满载 >8 小时(33%)→ 自建三年便宜 40%+;波峰型、短期项目、模型未定型 → 租云。多数团队的最优解是混合:自建一台保底,云端削峰。

一句话:自建买的是「每度电的算力」,租云买的是「不用管机器」——把利用率当分水岭,这笔账就有唯一解。

一笔标准三年账(以 14B 模型生产服务为例)

场景:10 人团队,14B Q4 模型对外/对内服务,日均有效推理负载 10 小时。

成本项自建(双卡工作站)租云(按量 GPU)
算力购置/租金整机 ¥35,000(3 年折完)同级卡 ¥2.5/时 × 10h × 250 天 × 3 年 ≈ ¥56,000
电费双卡满载约 650W,3 年 ≈ ¥5,700(谷峰混合商电)含在租金内
运维0.2 人年 × 3(装机、监控、换件)≈ 折 ¥18,000接近 0
流量/迁移≈ 0数据集双向流量 ≈ ¥3,000-8,000(视规模)
三年合计≈ ¥58,700≈ ¥60,000-64,000

结论藏在利用率里:上面按日均 10 小时满载算,自建已经打平;负载再涨,自建成本不再动,云账单线性涨——日均 16 小时的话,云要 ¥9 万+,自建纹丝不动。反过来,日均只有 3 小时,云三年 ¥2 万打住,自建的折旧照付。

三个决策开关

  1. 负载是稳态还是波峰? 稳态(知识库、客服、代码助手后台)→ 自建为主;波峰(活动期、训练实验)→ 云;
  2. 模型定型了吗? 还在选型/微调阶段,别急着买卡——模型变了硬件需求就变,租云试三个月再下单(本地部署 DeepSeek/Qwen 的配置口径先看清);
  3. 数据能出域吗? 不能出域(客户数据、内部文档)→ 只剩自建或专有云,公有云按量直接出局,见国内与海外 GPU 云怎么选。

推荐架构:自建保底 + 云端削峰

日常推理 → 自建双卡工作站(vLLM/SGLang 常驻,利用率 60%+)
↓ 峰值/临时任务
按量云 GPU(训练、大批量离线任务)
↘ API 兜底
[one-api 网关](/guides/one-api-vs-new-api/)统一调度,本地挂了自动切云

这套架构把两边优点都拿到:自建的边际成本为零,云的弹性按需付费。网关层还能给每个项目发独立令牌记账——云 AI 成本优化的七招里,「混合调度」是最值钱的一招。

别忘了算「退出成本」

三年后机器残值约 10-20%(魔改卡与数据中心卡另算,见二手显卡行情),云合约到期归零。反过来,自建三年后想升级,旧卡能抵一部分——硬件是资产,租金是费用,财务视角下这两者的差别比账面数字更大。

选型到采购的落地流程见企业采购完整流程;不想自己走流程,直接看企业采购服务。

常见问题

三年 TCO 要算哪些项?
自建:购置价(3-5 年折旧)+ 电费(300W 卡 7×24 一年约 ¥2,100-3,100 商电)+ 运维人力(0.1-0.3 人年,常被漏算)+ 故障备件。租云:租金 + 数据出入流量费(常被低估)+ 迁移成本。两边都算完再比,只比租金和购价必然算错。
利用率怎么估?
看任务性质:客服机器人、内部知识库这类 7×24 稳态负载,利用率常在 50%+;活动期内容审、一次性数据清洗这类波峰负载,平均利用率可能不到 10%。前者自建,后者租云,几乎没有例外。
租云还有什么隐性成本?
①数据回传流量费(大模型日志与数据集双向流);②锁定成本(云端私有镜像迁走要重做);③合规成本(数据不能出域就得选国内区域)。签长期协议前拿真实负载压测一个月,账单说话。
小团队(10 人以下)什么方案?
一台双卡工作站 + 免费 API 档兜底:重活本地、轻活云端,机器闲时跑批处理任务。起步总成本 ¥3-5 万,三年综合成本通常低于全云方案,详见团队共享方案。
↑