需求分析:RAG 吃什么资源
RAG(检索增强生成)= 先检索你的文档,再让大模型「开卷回答」。资源账分四层:
- 对话模型(显存大头)——回答质量的天花板。14B 起步能读会引,32B 明显更可靠(权重显存见模型库);
- 嵌入模型(轻)——bge-m3 级别 1-2G,CPU 跑也不慢,不是瓶颈;
- 内存(向量库的家)——向量索引常驻内存,文档量线性增长,32G 起步、重度 64G;
- 硬盘——原文 + 切块 + 向量,按文档体积 ×3 预留,和模型库一起算 NVMe 容量。
一句话:RAG 整机 = 一台「本地大模型机」+ 翻倍内存预算。
软件链路怎么选
| 方案 | 形态 | 适合 |
|---|---|---|
| Cherry Studio | 桌面 App,自带知识库 | 个人,10 分钟跑通 |
| Open WebUI | 浏览器访问,多用户 | 家庭/团队共享知识库 |
| AnythingLLM | 桌面/服务端一体 | 工作区隔离、权限细分 |
| Dify / n8n 类工作流平台 | 服务端编排 | 知识库 + Agent 流程组合 |
底层引擎同一套逻辑:Ollama(个人)或 vLLM/SGLang(并发)跑对话模型,任何方案里显存账不变。
选购要点
- 个人入门(¥6k 档):RTX 5060 Ti 16G + 64G 内存 + 2T NVMe——14B 全速、32B offload,十万页级文档无压力;
- 个人主力(¥11k 档):24G 卡(新 5090 太贵就二手 3090)+ 64G 内存——32B 全速,回答可靠性质变;
- 团队共享:在主力档基础上按并发加码,思路同团队推理服务器,知识库服务化后每人浏览器访问。
CPU 侧只影响索引构建速度,6 核够用;追求极限索引吞吐(百万页级)再看 9950X 跑 RAG 的 CPU 账。
数据来源:各模型量化显存占用见模型库;嵌入模型内存占用按 bge-m3 与主流向量库实测口径;配置参考价与硬件库联动,下单前以电商实时价为准。
常见问题
RAG 对显卡要求高吗?
比想象中低。嵌入模型(把文档向量化)只要 1-2G 显存;真正吃显存的是背后的对话模型——回答质量由它决定。12G 卡跑 14B 就是能用的知识库,24G 卡跑 32B 是舒服的知识库。
RAG 和微调怎么选?
九成场景选 RAG:文档更新就能生效、可溯源引用、无需训练卡。微调只在需要改变模型「风格/领域语感」时才值得上,且要训练级硬件(见深度学习场景)。先用 RAG,不够再谈微调。
文档很多(几万页)会跑不动吗?
显存不会——向量库常驻的是内存不是显存。几万页文档的向量索引约几 G 内存,64G 内存可扛十万页级;再大就要工程化(分库、增量索引),那是软件问题,不是换显卡能解决的。
数据不出门怎么保证?
全套本地化:Ollama/vLLM 跑模型 + 本地嵌入模型 + 本地向量库,断网可用。桌面端 Cherry Studio 的知识库模式、服务端 Open WebUI/AnythingLLM 都支持纯本地链路——见下方软件链路。
NPU / AI PC 的 NPU 对 RAG 有用吗?
目前用处有限:主流 RAG 软件链还没把 NPU 利用起来,嵌入模型放 GPU 或 CPU 都够快。买 AI PC 的 NPU 溢价别为 RAG 买单,钱花在显存和内存上更实际。