自建RAG客服要多大显存才够？三个显存估算坑与选型避雷
很多中小团队做 RAG 客服时，第一反应是「先买张 24G 显卡试试」，结果上线两周就发现：知识库文档一长、并发一上来，首字延迟从 1 秒飙到 8 秒，客服机器人开始「嗯……让我想想」。问题往往不在模型选得不对，而在显存估算从第一步就偏了。显存不是只看模型参数量，它由权重、KV Cache、框架开销三块叠加，而真正压垮日常并发的是第二块。
坑一：只按参数量算显存，忽略 KV Cache 与上下文长度
常见误区是「7B 模型约 14G 显存，24G 卡够用」。这个算法只覆盖了 FP16 权重。实际部署中，RAG 客服会把检索到的 3~5 段知识拼进提示词，上下文很容易到 4K~8K token，KV Cache 随之线性增长。行业里较通用的经验量级是：7B/8B 模型在 4K 上下文、FP16 下，单路 KV Cache 约 1~2GB；量化到 INT8/INT4 后权重下降，但 KV Cache 并不会同比缩小。
更稳妥的做法是按「权重 + 并发路数 × 单路 KV + 框架预留（一般 2~4GB）」估算。举例：Qwen 7B 用 INT4 量化，权重约 5~6GB，若目标支撑 8 路并发、每路 4K 上下文，KV 约 10~14GB，加上框架开销，24G 卡基本贴着上限跑，没有余量应对长文档。这也是为什么不少团队最终选择 48G 显存档位（如 A6000、L40S 级别）来换取并发余量。
坑二：把「能跑」当「能扛」，没算首字延迟与并发的关系
RAG 客服的体验指标不是吞吐，而是首字延迟（TTFT）。中小公司的真实并发通常不高：一个日咨询量几百到两千的客服场景，峰值并发往往只有 3~10 路。但要注意，检索环节本身也吃资源——向量库检索、重排模型（rerank）如果和生成模型挤在同一张卡上，会显著拉高首字延迟。
- 判断标准：把 rerank 模型（通常 0.5B~1B 级别）单独放在 CPU 或小显存卡上，生成模型独占主卡，首字延迟通常能压到 1~2 秒量级。
- 量化取舍：INT4 能省显存，但对中文长答案的稳定性有影响，客服场景建议 INT8 起步，用显存换答案质量。
- 压测方法：上线前用 5/10/20 路并发各跑一轮，记录 P95 首字延迟，超过 3 秒就要考虑加卡或降上下文长度。
如果预算有限，另一条路是把生成模型放在云端 API、只自建检索与编排层，等咨询量稳定后再迁到物理机。这条路径的坑在于数据出境与合规：涉及客户订单、身份信息的场景，通常要求数据不出境，此时香港、新加坡等地区的机房就成了折中选项——香港接入内地延迟低，新加坡覆盖东南亚业务更顺，具体选哪边要看客户分布与合规要求，视服务商而定。
坑三：只看显卡不看整机，带宽与存储被低估
RAG 知识库的文档解析、向量化、索引重建是阶段性重负载，日常推理反而轻。选购时要对比的参数清单建议按这个顺序看：
- 显存容量与卡型：优先看显存，其次看是否支持 INT8/FP16 推理；老卡（如 1050 Ti、GT740）显存小、算力弱，只适合做原型验证或小模型（1.5B~3B）的轻量问答。
- 内存与 SSD：向量库和文档原文建议放 SSD，内存至少是显存的 2 倍，避免加载模型时频繁换页。
- 带宽：面向内地用户的客服接口，10M 带宽在低并发下够用；若同时跑文档上传、日志回传，建议留余量。
- 地区与线路：香港机房对内地访问延迟友好，硅谷机房适合海外业务与英文知识库，欧洲则要额外评估合规成本。
避坑要点很直接：不要用消费级老卡硬扛生产流量，也不要在同一台机器上同时跑向量库、rerank 和生成模型却不做资源隔离。原型阶段用低配卡验证流程完全合理，但要提前规划好迁移路径。
选购推荐：从原型到小并发生产的两档思路
结合上面的估算逻辑，起步阶段验证 RAG 流程、跑 1.5B~3B 小模型或做文档解析与向量化，香港显卡物理服务器2*E5-2660（GT740 4G显存 / 32G内存 / 10M带宽）属于成本可控的入门档，月付 146.20 元，适合先把检索链路和提示词工程跑通，再决定是否加卡。如果知识库以英文为主、客户在海外，硅谷GPU服务器 II（1050 显卡 / 双路 E5-2620 / 32GB / 100M带宽）月付 199 元，100M 带宽对海外访问和批量文档处理更从容，适合小团队做英文客服与出海业务的初期验证。
需要提醒的是，这两档都属于验证与小并发档位，若目标是 7B 模型、8 路以上并发稳定运行，仍应按前文的显存公式规划 24G 以上显存的生产机型，避免上线后反复扩容。
决策建议
先用「权重 + 并发 × 单路 KV + 框架预留」算出显存下限，再用 5/10/20 路压测验证首字延迟，最后按客户分布选地区。原型期用低配 GPU 物理机跑通链路、控制试错成本，等咨询量与知识库规模稳定后再升级到 24G 以上显存的生产配置，比一步到位买贵卡更稳妥。