自建RAG客服要多大显存？一台8G显卡机器能扛多少并发，成本账算给你看
一个做职场技能课程的博主，公众号加社群沉淀了近三年答疑记录，约 1.2 万条问答、400 多篇课程文稿。客服咨询集中在晚上八点到十一点，问题是同一批问题反复回答：报名流程、课程有效期、能不能开发票、某个工具怎么装。请兼职客服每月三千多，还经常答错。他的诉求很朴素：把这些资料做成一个能自动答的客服，数据不出自己的机器，最好一台服务器搞定，预算控制在每月几百元。
这类需求就是典型的 RAG 知识库客服：文档切片入库，检索出相关片段，拼进提示词交给本地大模型生成答案。真正决定花多少钱的不是模型多大，而是显存能装下什么、能同时服务几个人。下面按落地过程拆账。
第一步：显存账怎么算，7B 是个人站长的甜点区
RAG 客服不需要模型无所不知，它的知识来自检索结果，模型只负责组织语言。因此 7B~8B 量级的开源模型（Qwen、Llama 系列的 7B/8B 版本）完全够用，量化后显存需求大致如下：
- 4bit 量化 7B 模型：权重约 4~5GB，加 KV Cache 与推理框架开销，单卡 8GB 显存可跑，但上下文一长就吃紧。
- 8bit 量化 7B：权重约 8GB，建议 12~16GB 显存起步。
- FP16 的 7B：权重约 14~15GB，需要 16GB 以上显存，24GB 更稳。
- 14B 量化模型：权重 9~10GB，加上 KV Cache 一般要 16~24GB。
KV Cache 是容易被忽略的部分：并发越高、上下文越长，它占用越大。经验量级是 4bit 7B 模型在 2K 上下文下，每路并发额外占几百 MB，因此 8GB 卡上跑 4bit 7B，稳定并发通常在 2~4 路；16GB 卡可以做到 8~12 路；24GB 卡配 14B 量化模型，做到 10 路左右比较从容。这些数字随推理框架、批处理策略和生成长度浮动，属于量级参考而非承诺。
换算到业务上：晚高峰三小时如果有 200 次咨询、平均每次停留两轮对话，折算同时在线也就 3~5 路。也就是说，这个博主的场景一张 8~16GB 显存的卡就够，不需要动辄 A100 的配置。
第二步：并发之外的三个隐性成本
很多人只盯显存，落地后才发现卡在别处。
- 首字延迟：客服体验的分水岭是第一个字多久出现。7B 模型在消费级/入门级 GPU 上首字延迟通常 1~3 秒，勉强可接受；如果模型跑在 CPU 上，首字可能十几秒，用户直接关窗。
- 检索与向量库：1 万多条问答的向量库，内存 8~16GB 的机器足够，和推理服务同机部署没问题；文档量到十万级再考虑拆分。
- 带宽与线路：客服面向国内用户时，海外机房的网络往返会额外增加几百毫秒，香港节点通常比美国西海岸更占优势；如果客户在东南亚或海外，硅谷节点反而更顺。这一项对体感的影响不比显卡小。
市场行情量级上，云 GPU 按需租用入门卡一般每月数百到一两千元，长期跑不划算；带 GPU 的物理服务器月付普遍在百元到千元区间，具体视卡型、显存与带宽而定，比同性能云实例更适合 7×24 常驻的客服场景。
第三步：选购时要对比的参数清单
下单前逐项核对，别只看价格：
- 显存容量与卡型：先确认是独立显卡还是核显、显存几 GB，这决定能跑什么量化等级。低端亮机卡（如 GT740 一类）只能做小模型实验或图像类轻任务，不适合主力推理。
- 内存与硬盘：内存建议不低于显存的两倍，模型加载和向量库都吃内存；系统盘用 SSD，模型文件动辄几个 GB。
- 带宽与线路：客服类应用对上行带宽要求不高，但对延迟敏感，要问清是国际带宽还是优化线路、是否有流量限制。
- 地区与合规：涉及用户隐私的问答记录，若要求数据不出境，优先选香港、新加坡等近岸节点并确认机房政策；面向欧美用户则可选美国节点。
- 可扩展性：是否支持加卡、加内存，避免业务涨了只能整机换。
- 运维方式：是否给 root、能否自行装推理框架与向量库，避免被锁在托管环境里。
常见坑：拿低显存卡硬跑 FP16 模型导致频繁 OOM；只看算力不看显存带宽，生成速度上不去；把向量库和推理挤在一台小内存机器上，检索一慢整体就卡；以及忽略线路，国内用户访问海外节点首字延迟翻倍。
选购推荐
回到这个博主的需求，两张卡就能覆盖从试水到稳定运营的路径。试水阶段可以先上香港显卡物理服务器 2*E5-2660（1050 Ti），64G 内存、240G SSD 加 1T HDD，10M 带宽，月付 196.35 元，1050 Ti 的 4GB 显存跑 4bit 量化的 7B 模型做单路到两三路并发够用，香港节点对国内访客延迟友好，适合先把 RAG 流程跑通、验证答准率。若文档量增长、希望并发拉到 8 路以上并留出更长上下文的余量，可以换到硅谷GPU服务器 III，AMD WX 7100 配 64GB 内存与 1T SSD、100M 带宽，月付 579 元，显存和内存都更宽裕，适合同时跑推理与向量检索，代价是面向国内用户时网络往返略高，适合客户以海外为主或对延迟不敏感的团队。
决策建议
个人站长和自媒体博主做 RAG 客服，先用 4bit 量化的 7B 模型把流程跑通，显存 8GB 起步、16GB 更稳，不必一步到位买大卡。并发按晚高峰同时在线 3~5 路估算，单卡足够；等日咨询量稳定超过几百次、或需要 14B 模型提升答准率时再升级。地区选择上，国内用户为主选香港，海外用户为主选硅谷，把线路延迟当成和显存同等重要的参数来比。总成本控制在每月两三百到六七百元，已经优于一名兼职客服的支出，且答案口径统一、可随时回溯知识来源。