AI客服自建RAG知识库：云GPU还是物理显卡服务器，要多大显存才够并发

一个做公众号和知识付费的博主，手里攒了三四百篇付费文章和上千条答疑记录，想做个「AI 客服」自动回答粉丝提问。第一反应是调云端 API，算下来每天几千次问答，一个月账单不算离谱，但把历史文章全文塞进上下文，费用立刻翻上去；换成自建 RAG（检索增强生成），又卡在第一个问题上——到底要买多大显存的机器，能撑多少人同时提问？这笔账值得拆开算清楚。

显存怎么算：模型权重只是起步价

RAG 的本质是把问题先做向量检索，命中几段知识片段，再连同问题一起交给大模型生成答案。所以显存开销分三块：模型权重、KV Cache（上下文缓存）、向量库与检索服务。

权重部分有个通用估算：FP16 精度下每 10 亿参数约占 2GB，INT8 量化约 1GB，INT4 约 0.5GB。按这个口径：

• 7B 模型（如 Qwen 7B、Llama 8B 级别）：FP16 约 14GB，INT8 约 7~8GB，INT4 约 4~5GB；
• 14B 模型：INT8 约 14GB，INT4 约 8~9GB；
• 32B 模型：INT4 也要 18GB 上下，基本告别单张消费级卡。

真正被低估的是 KV Cache。它随并发数和上下文长度线性增长，一个 7B 模型在 4K 上下文、单路并发下通常要占 1GB 左右，并发翻十倍就是十几 GB。所以「7B 模型 8GB 显存够不够」这个问题，答案取决于同时有几个人在问、每次喂多长的检索片段。

实用判断标准：给知识库问答配机器，显存至少按「权重量化后大小 × 1.5」留余量。比如 INT4 的 7B 模型占 5GB，实际按 8GB 显存起步；想开 10 路以上并发，16GB 更稳。检索用的向量库（如 FAISS、Milvus 轻量版）几百 MB 到几 GB，跟模型挤在同一台机器上时，这部分也要算进去。

并发与首字延迟：决定体验的不是吞吐而是等待感

AI 客服的体验阈值很朴素：用户发出问题后，首字延迟控制在 1~2 秒内算流畅，超过 3 秒就开始怀疑「是不是坏了」。首字延迟由检索耗时加模型预填充（prefill）耗时构成，检索一般在几十到几百毫秒，大头是 prefill。

经验量级：一张 16GB 显存的卡跑 INT4 的 7B 模型，4K 上下文下单路生成速度通常在每秒几十个 token，勉强够两三个人同时用；要撑 10~20 路并发，要么换更大显存的卡，要么上 vLLM、SGLang 这类带连续批处理（continuous batching）的推理框架，把多路请求拼批处理，吞吐能提升数倍，但首字延迟会随排队略微上升。

对个人站长和自媒体博主来说，真实并发往往没那么吓人：一个几千粉的号，晚高峰同时在线提问可能就三五个。与其一开始就按百路并发买卡，不如先按「峰值并发 × 2」配，跑一段时间看监控再扩。判断是否需要加卡的信号很明确：连续几天出现排队等待、首字延迟稳定超过 3 秒，再考虑升级。

云 GPU 还是显卡物理机：把成本账拆开

两条路的差别不只在单价，而在计费方式和隐性成本。

云 GPU（按小时计费）：适合验证期。7B 模型 INT4 推理用一张 16GB 级别的卡，市场行情一般在每小时几元到十几元区间，视地区和服务商而定；跑满一个月，成本会明显高于同档物理机。好处是随时开关、不用管硬件，缺点是长期跑不划算，且数据放在第三方环境里需要评估合规要求。

显卡物理机（包月）：适合已经验证过需求、要 7×24 挂着服务的场景。包月价通常比同等算力的云实例按满月折算便宜不少，机器独享，数据落在自己手里。代价是运维自己扛：驱动、CUDA 版本、推理框架、反向代理、HTTPS 证书都得自己配。

还有一条容易被忽略的路线：如果知识库规模不大、并发不高，可以先用低显存的显卡物理机跑小参数模型或做检索与前端服务，把生成环节留给云端 API 兜底。这种混合架构在预算紧张时很实用，检索和知识切片放在本地，只有生成那一步走外部接口。

选购时要对比的参数清单，建议逐项确认：

• 显存容量与卡型（决定能跑多大模型、多少并发）；
• 内存与 CPU 核数（向量库和检索服务吃内存）；
• 系统盘与数据盘（知识库原文、向量索引、日志都要落盘）；
• 带宽与流量（客服前端要对外提供网页或小程序接口，带宽太小首屏就卡）；
• 机房地区与线路（面向国内用户，香港、新加坡等节点通常延迟更友好；面向海外粉丝则另算）；
• 是否独享、能否自行装驱动和框架、是否支持重装系统。

避坑要点有三条：一是别被「大显存」宣传迷惑，老架构的卡跑新推理框架可能缺算子支持，买前确认框架兼容性；二是别把知识库切片做得太碎，检索命中片段过多会撑爆上下文，反而拖慢首字延迟；三是上线前用真实问题集压测一遍，别只看单条问答的演示效果。

选购推荐

结合上面的成本账，预算有限、想先跑通检索与小模型推理的个人博主，可以从低门槛的显卡物理机起步：香港显卡物理服务器 2*E5-2660（1050 Ti），64G 内存配 240G SSD 加 1T HDD，196.35 元/月，显存跑量化后的小参数模型做问答演示、把向量库和前端服务一起放上去，内存余量足够，香港节点对国内访问也友好。如果后续要跑更大模型、需要更强算力和 100M 带宽支撑对外接口，硅谷 GPU 服务器 III 用 AMD WX 7100 配双路 E5-2683v4、64GB 内存与 1T SSD，579 元/月，适合已经验证过需求、准备长期挂着服务的阶段。两款都属于包月物理机思路，先把「检索 + 小模型」跑顺，再根据监控数据决定是否加卡，比一上来就租高配云实例更省。

决策建议：日提问量在几百次以内、还在验证阶段，先用低显存物理机加量化小模型跑通流程，把知识切片和检索质量调好；等并发稳定超过十路、首字延迟压不住时，再按显存余量升级到 16GB 以上级别或改用批处理推理框架。自建 RAG 的成败，七成在知识库整理和检索质量，三成才是显卡，别把预算全压在硬件上。