9950X 跑本地 RAG:向量索引与检索的 CPU 账

本地 RAG 被想象成服务器级任务,实测消费级完全够用。9950X + 64G 的账:

Embedding 阶段(吃多核):bge-m3 纯 CPU 吞吐约 40 chunk/s,显卡加速到 400+;10 万页文档(约 50 万 chunk)CPU 3.5 小时、显卡 20 分钟。

检索阶段(吃内存带宽):万级 chunk 延迟 <5ms,百万级 <30ms——64G DDR5 双通道完全够;内存通道是延迟敏感场景的升级项。

什么时候上 EPYC:千万级 chunk + 多用户并发,8 通道带宽才有意义(见EPYC 对照);个人知识库,消费级到头。