自建RAG客服要多大显存？和SaaS比谁更划算
热点背后的真问题：RAG客服到底吃多少显存
DeepSeek、Qwen、Llama 系列开源权重持续迭代，把「私有化知识库客服」从中厂预算拉到了中小团队可讨论的范围。但真正动手时，第一个卡点往往不是模型选谁，而是显存要多大才够用。
先给一个可复用的估算口径：显存占用 ≈ 模型权重 + KV Cache + 框架开销。权重部分，FP16 下每 10 亿参数约 2GB，7B 约 14GB、14B 约 28GB；若用 4bit 量化（GPTQ/AWQ），大致压到 1/4，7B 约 4~5GB、14B 约 8~9GB。KV Cache 与并发、上下文长度线性相关，RAG 场景常把检索片段拼进上下文，单请求 4K~8K token 很常见，并发 5~10 路时通常还要预留 2~6GB。框架与推理引擎（vLLM、TGI、Ollama）本身再占 1~2GB。
结论量级：7B 量化 + 5 路并发，单卡 16GB 显存基本可跑；14B 量化或 7B FP16，建议 24GB 起；32B 量化，需要 24GB×2 或 48GB 级；若坚持 FP16 跑 32B 以上并追求低首字延迟，才进入 80GB 卡或双卡并行的讨论。注意显存不是唯一指标，首字延迟更影响客服体验：7B 量化在单卡上首 token 一般可做到数百毫秒级，14B 以上则明显抬升，需靠批处理与检索精简来补偿。Embedding 与重排模型（bge、gte 系列）通常 1~2GB 显存即可，可与生成模型同机部署。
自建还是SaaS：成本分界点在哪
SaaS 客服/知识库产品的计费通常按坐席数、对话量或 token 计费，小体量起步便宜，但对话量上去后单价不降。自建的固定成本是机器与运维人力，边际成本主要是电费与带宽。一个实用的判断标准：
- 月对话量低于数千次、知识库文档不足百份：SaaS 更省心，自建不划算。
- 月对话量上万、知识库含内部文档或客户隐私数据：自建开始有优势，尤其是数据不出境、不出内网的合规诉求。
- 需要深度定制检索链路、多轮工单联动、私有术语词典：SaaS 的改造成本往往高于自建。
成本量级上，云 GPU 按小时计费，长期 7×24 跑推理时，月账单通常显著高于同算力物理机；物理机的隐性成本是运维与故障响应。对中小团队，常见折中是：推理放物理机、向量库与业务放普通云主机，把最贵的显存资源独占下来，其余按需弹性。
落地路径与踩坑清单
一条可执行的落地顺序：
- 先用 Ollama 或 vLLM 在单卡上跑通 7B 量化模型，验证问答质量；
- 接入向量库（Milvus、Qdrant、pgvector 均可），把文档切分、embedding、召回、重排串成链路；
- 用真实问题集压测并发与首字延迟，记录 P95 而非平均值；
- 再决定是否升级到 14B/32B 或加卡。
常见坑：只看参数量不看量化格式，FP16 与 4bit 的显存差 4 倍；上下文塞太满，检索片段堆到 16K 后 KV Cache 吃掉大半显存；忽略带宽，模型权重动辄十几 GB，首次拉取和更新时低带宽机器会卡很久；地区选错，面向国内用户却把推理放在远端机房，网络往返直接拉高首字延迟。通常建议：用户在内地，优先香港等低延迟节点；面向欧美客户或需要海外模型源，硅谷节点更顺。
选购推荐
结合上面的显存口径，如果目标是 7B 量化、小并发跑通 RAG 客服原型，不必一上来就买大卡。秀米云在售的香港显卡物理服务器2*E5-2660（1050 Ti），64G 内存配 1050 Ti 4G 显存，196.35 元/月，适合先用小模型验证检索链路与业务流，香港节点对内地访问延迟友好，跑 embedding 与轻量生成够用。
若已经确认要跑 14B 量化或更高并发，显存是硬门槛，可考虑硅谷GPU服务器 IV，1080 8G 显存、双路 E5-2680、32GB 内存、1T SSD、100M 带宽，748 元/月，海外模型源拉取快，适合面向海外客户的独立站客服或需要访问境外 API 的场景。选型时把显存、内存、带宽、地区四项列成对比表，比只盯价格更靠谱。
决策建议：先用最小可用配置跑通 RAG 链路并压测真实并发，再按 P95 首字延迟和显存余量决定是否加卡或换地区；对话量小、无合规压力时 SaaS 仍是理性选择，数据敏感、需深度定制时自建物理机的长期成本更可控。