共享推理服务器的定位:一台机器吃掉团队 80% 的日常调用(代码补全、文档问答、Agent 工具链),剩下 20% 长尾再走云 API。
并发的本质:吞吐 vs 首 token
- 首 token 延迟:由带宽与 KV 缓存决定 —— 单人体验看它
- 吞吐:vLLM 连续批处理把多人请求拼批,吞吐 3-5 倍于单请求 —— 团队体验看它
- 显存预算 = 模型权重 + KV 缓存池;并发人数越多,KV 缓存池越大 —— 显存不够先砍上下文长度,再砍并发
两档配置清单(2026-11 行情)
5 人小队(¥2 万内)
- CPU:EPYC 7302 或 7443P(¥1450/3500,8 通道平台底座)
- 内存:RDIMM DDR4-3200 32G×8 = 256G(¥1900)—— RAG 知识库常驻位
- GPU:单张 24-48G(5060 Ti 16G 起步级 → 4090/5090 24G 或二手 A6000 48G)
- 机箱电源:塔箱或 4U + 1000W 金牌(ATX3.1)
- 能跑:30B 级 MoE 量化(10-20 tok/s)+ RAG + vLLM 撑 5 人日常
20 人团队(¥4-6 万)
- CPU:EPYC 7702P(¥2300)+ RDIMM 64G×8 = 512G(¥11000)
- GPU:双卡 48G(二手 A6000 ×2 / 渠道 L20 级),PCIe x16 直连
- 供电:1600W 单 ATX 或双 CRPS 冗余;4U 机架 + 涡轮卡
- 能跑:70B Q4 + 30B MoE 双模型常驻,batching 撑 20 人并发
RAG 的内存账:向量检索不占显存,吃的是 RDIMM 容量 —— 这就是共享服务器必须 8 通道插满的原因。知识库规模参考 → 9950X 本地 RAG 实测。
自建 vs 云 API 分摊账
按 5 人团队日均 2000 次调用:主流 API 月支出 ¥1500-4000;自建设备 ¥2 万 + 电费 ¥200/月 + 一个懂运维的同事,12-18 个月打平。溢出流量(长尾模型、突发高峰)回落云 API,双轨并行。
云端替代方案的成本对比 → 云 GPU 性价比榜与大模型 API 对比;批量采购走渠道可开票 → 企业批量采购服务;硬件底座 → EPYC 捞垃圾全攻略。
常见问题
多人并发到底难在哪?
单用户要首 token 快(带宽/显存),多用户要吞吐大(批处理)。vLLM 的 continuous batching 把多请求拼批,吞吐能到单请求的 3-5 倍 —— 但显存上限决定了同时驻留的模型与 KV 缓存规模。
为什么 RAG 吃内存不吃显存?
向量库与文档切块在内存里检索,不需要 GPU;知识库大(千万级切块)时内存容量是瓶颈,这也是共享服务器配大 RDIMM 的原因 —— 推理显存留给模型,检索内存留给知识库。
和每人开一个云 API 账号怎么比?
按 5 人团队日活 2000 次调用算,主流 API 月支出 ¥1500-4000;自建 ¥2 万设备 + 电费 ¥200/月,约 12-18 个月打平 —— 且数据不出内网,模型随便换。
谁来运维?
至少一个懂 Linux/容器的人:vLLM 部署、模型量化更新、监控告警;没有就买托管云,自建的隐性成本是运维人力不是硬件。