本地知识库 / RAG 配置指南(个人与团队)

短答案

RAG 的硬件账 ≈ 本地大模型 + 大内存:对话模型 14B 起步(12G 卡)、32B 舒适(24G 卡);嵌入模型仅占 1-2G;内存 32G 起步(向量库常驻),文档库按 3 倍体积备硬盘。

需求分析:RAG 吃什么资源

RAG(检索增强生成)= 先检索你的文档,再让大模型「开卷回答」。资源账分四层:

  1. 对话模型(显存大头)——回答质量的天花板。14B 起步能读会引,32B 明显更可靠(权重显存见模型库);
  2. 嵌入模型(轻)——bge-m3 级别 1-2G,CPU 跑也不慢,不是瓶颈;
  3. 内存(向量库的家)——向量索引常驻内存,文档量线性增长,32G 起步、重度 64G;
  4. 硬盘——原文 + 切块 + 向量,按文档体积 ×3 预留,和模型库一起算 NVMe 容量。

一句话:RAG 整机 = 一台「本地大模型机」+ 翻倍内存预算。

软件链路怎么选

方案形态适合
Cherry Studio桌面 App,自带知识库个人,10 分钟跑通
Open WebUI浏览器访问,多用户家庭/团队共享知识库
AnythingLLM桌面/服务端一体工作区隔离、权限细分
Dify / n8n 类工作流平台服务端编排知识库 + Agent 流程组合

底层引擎同一套逻辑:Ollama(个人)或 vLLM/SGLang(并发)跑对话模型,任何方案里显存账不变。

选购要点

  • 个人入门(¥6k 档):RTX 5060 Ti 16G + 64G 内存 + 2T NVMe——14B 全速、32B offload,十万页级文档无压力;
  • 个人主力(¥11k 档):24G 卡(新 5090 太贵就二手 3090)+ 64G 内存——32B 全速,回答可靠性质变;
  • 团队共享:在主力档基础上按并发加码,思路同团队推理服务器,知识库服务化后每人浏览器访问。

CPU 侧只影响索引构建速度,6 核够用;追求极限索引吞吐(百万页级)再看 9950X 跑 RAG 的 CPU 账。

数据来源:各模型量化显存占用见模型库;嵌入模型内存占用按 bge-m3 与主流向量库实测口径;配置参考价与硬件库联动,下单前以电商实时价为准。

常见问题

RAG 对显卡要求高吗?
比想象中低。嵌入模型(把文档向量化)只要 1-2G 显存;真正吃显存的是背后的对话模型——回答质量由它决定。12G 卡跑 14B 就是能用的知识库,24G 卡跑 32B 是舒服的知识库。
RAG 和微调怎么选?
九成场景选 RAG:文档更新就能生效、可溯源引用、无需训练卡。微调只在需要改变模型「风格/领域语感」时才值得上,且要训练级硬件(见深度学习场景)。先用 RAG,不够再谈微调。
文档很多(几万页)会跑不动吗?
显存不会——向量库常驻的是内存不是显存。几万页文档的向量索引约几 G 内存,64G 内存可扛十万页级;再大就要工程化(分库、增量索引),那是软件问题,不是换显卡能解决的。
数据不出门怎么保证?
全套本地化:Ollama/vLLM 跑模型 + 本地嵌入模型 + 本地向量库,断网可用。桌面端 Cherry Studio 的知识库模式、服务端 Open WebUI/AnythingLLM 都支持纯本地链路——见下方软件链路。
NPU / AI PC 的 NPU 对 RAG 有用吗?
目前用处有限:主流 RAG 软件链还没把 NPU 利用起来,嵌入模型放 GPU 或 CPU 都够快。买 AI PC 的 NPU 溢价别为 RAG 买单,钱花在显存和内存上更实际。
↑