自建RAG知识库要多大显存，和SaaS客服比谁更省钱
客服团队每月花几千块买SaaS坐席，老板问一句「能不能自己搭个知识库机器人」，运维打开Ollama发现16G显存的机器连7B模型都跑不顺。这篇文章就解决三件事：要多大显存、配什么机器、和SaaS比到底谁便宜。
第一步：算清楚你的RAG知识库要多大显存
RAG（检索增强生成）的显存消耗分两块：向量检索和模型推理。向量库本身很轻，几万条文档用CPU加内存就能扛，真正吃显存的是推理模型。
通用经验值（FP16精度，未量化）：
- 7B模型：约14~16GB显存，留出上下文余量建议按18~20GB备
- 14B模型：约28~32GB显存
- 32B模型：约64~70GB显存
- 70B模型：通常需要双卡或量化，单卡很难落地
如果用4bit量化，显存大约降到原来的1/3~1/4，7B可压到6GB左右，但回答质量和长上下文稳定性会打折。中小企业做内部知识库，一般7B~14B量化版就够用，除非涉及合同、法务这类高精度场景。
并发和首字延迟是第二个变量。单张消费级显卡跑7B，通常能支撑5~15路并发；并发再往上，首字延迟会从1秒级掉到3~5秒，客服场景体验就崩了。判断标准很简单：用真实问答日志压测，首字延迟超过2秒就该考虑加卡或换更大的显存卡。
第二步：自建RAG的机器怎么配，地区怎么选
配置建议按规模分三档：
- 验证阶段（内部几十人用）：单卡16G显存 + 32G内存 + 1T SSD，跑7B量化模型加轻量向量库
- 小规模生产（日活几百次问答）：单卡24G显存 + 64G内存，跑14B量化
- 对外客服（多轮并发）：双卡或单卡48G以上，配独立向量库进程
地区选择看三点：数据合规、访问延迟、带宽成本。面向国内用户的客服知识库，香港机房通常延迟低、免备案、国际带宽充足，适合做前端接入；如果模型推理要调海外API或服务海外用户，硅谷机房更顺。日本、新加坡节点适合覆盖东南亚和日韩用户。数据不出境要求高的行业，优先选能物理隔离的独立服务器而非共享云。
带宽别忽略。RAG返回的是文本，流量不大，但模型权重下载、向量库同步、日志回传会吃带宽。10M带宽能跑通验证，生产环境一般建议50M以上。
第三步：和SaaS客服比，谁更省钱
SaaS客服按坐席收费，市场行情大致每个坐席每月几十到几百元不等，视服务商和功能而定。10个坐席一年下来通常几千到上万元。
自建的成本结构是：服务器月租 + 电费/带宽 + 运维人力。以一台入门GPU物理服务器每月一两百元量级计算，一年硬件成本可能低于SaaS坐席费，但隐性成本在运维：模型更新、向量库重建、故障排查都要人。判断分水岭：
- 坐席少于5个、问答量低：SaaS更省，别折腾
- 坐席10个以上、有数据不出境要求、问答量大：自建更划算
- 需要深度定制（对接内部ERP、工单系统）：自建几乎是唯一选择
避坑要点：不要只看显卡型号，要看显存和实际吞吐；不要用家用显卡长期跑生产，散热和稳定性是问题；向量库和模型最好分进程部署，避免OOM互相拖垮。
选购推荐
做RAG验证和小规模生产，显存和内存是核心。如果团队在起步阶段，可以先上香港显卡物理服务器2*E5-2660 (1050 Ti)，64G内存加1050 Ti 4G显存，适合跑7B量化模型和轻量向量库，196.35元/月的量级对中小团队压力很小，香港节点对国内访问延迟友好。若问答并发更高、需要更大显存余量，可考虑硅谷GPU服务器 III，AMD WX 7100配64G内存和100M带宽，579元/月，适合跑14B量化和多进程部署，硅谷节点便于对接海外模型服务。
决策建议：先用真实问答日志压测出并发和首字延迟，再倒推显存；坐席少、数据合规压力小就继续用SaaS，坐席多、要定制、要数据不出境就自建。机器别一步到位买顶配，从能跑通验证的配置起步，跑顺了再加卡，比一次性押注更稳。