中小企业自建RAG客服：多大显存能扛住并发与首字延迟
一个做家居跨境的团队，客服只有4个人，旺季每天要回两千多条重复咨询。他们想用RAG把产品手册、退换货政策、物流时效做成知识库，接一个开源模型做问答。真正卡住他们的不是代码，而是一个很具体的问题：买多大显存的机器，才能既扛住十几路并发，又不让首字延迟难看到客服自己都不想用。
这个案例的结论先放出来：30人规模、日咨询量两千上下的团队，一套单卡24GB显存的推理机加一台普通应用服务器就能跑起来，整机月成本落在几百到两三千元区间，关键是把模型尺寸、量化方式和并发预期三者对齐，而不是一味堆显存。
一、显存怎么算：模型权重只是起点
RAG客服的推理链路是：用户问题 → 向量检索召回片段 → 拼进提示词 → 大模型生成答案。显存占用主要来自三块，很多人只算了第一块。
- 模型权重：7B模型FP16约14GB，INT8约7GB，INT4约4GB；14B模型对应约28GB / 14GB / 8GB；32B模型INT4也要接近20GB。
- KV Cache：这是并发的主要成本。它随上下文长度和并发路数线性增长，长文档问答场景下，每路并发吃掉1~3GB并不罕见。
- 框架与碎片开销：推理框架本身、CUDA上下文、显存碎片通常再预留2~4GB。
所以一个常被验证的经验量级是：7B INT8 + 8K上下文，24GB卡可以稳定支撑8~15路并发；14B INT4，同样24GB卡大概只能到4~8路；32B模型基本要40GB以上显存起步。客服场景并发不是均匀的，要按峰值而不是均值留余量，通常建议按日常峰值再乘1.5倍配置。
二、首字延迟的真实来源与判断标准
首字延迟（TTFT）由检索、提示词长度、预填充计算和网络四段构成。实测中，检索和拼装往往占几十到一两百毫秒，真正的大头是长提示词下的预填充。
给运维同学的判断标准可以简单记：客服问答场景，首字延迟控制在1.5秒以内体感就正常，超过3秒用户会明显觉得卡。要压住这个数，做法比堆卡更有效：
- 把召回片段控制在3~5条、总提示词压到2K token以内，别把整本手册塞进去；
- 选用支持PagedAttention一类显存管理的推理框架，并发下延迟更稳；
- 模型选7B或14B的量化版本，客服问答不需要32B的通用能力；
- 把embedding模型和生成模型分开部署，别让小模型抢大模型的显存。
踩坑最集中的地方是：用消费级显卡跑FP16的14B模型，单路测试很流畅，一上5路并发就排队到十几秒。原因就是KV Cache把显存吃满后开始换页。
三、整机配置清单与地区怎么选
这套系统其实分两台机器更划算：一台推理机负责GPU，一台普通云服务器跑向量库、后端接口和前端。选购时按下面的清单逐项对比，能避开大部分坑。
- 显存：24GB是当前性价比拐点，能覆盖7B~14B量化模型；预算紧可先用16GB跑7B INT4验证业务。
- 内存：不低于显存的2倍，32GB起步，64GB更稳，用于加载模型和检索服务。
- CPU与盘：知识库向量索引和文档解析吃CPU，双路E5级别足够；系统盘建议SSD，模型文件动辄十几GB，机械盘加载会明显拖慢冷启动。
- 带宽：客服是文本流式输出，单路占用很小，10M带宽可支撑内部几十人使用；如果对外提供API，再按并发量上调。
- 地区与合规：客户和知识库都在境内，优先考虑数据不出境；面向海外用户或需要访问海外模型生态，香港、新加坡节点延迟和线路更友好，美国节点带宽足但回程延迟高，适合非实时任务。
需要提醒的是，很多标着“GPU服务器”的低价机型用的是老架构显卡，跑现代推理框架的兼容性和效率都有限，下单前务必确认显卡型号、显存容量和是否支持所需的CUDA版本。
选购推荐
结合上面这套测算，如果是先做业务验证、预算敏感的团队，可以先从入门GPU机型起步：硅谷GPU服务器 I，GPU 750 / E5-2620 / 32GB / 1T SSD / 100M带宽，169元/月，适合跑7B INT4量化模型做小流量知识库问答和效果验证，硅谷节点访问海外模型生态也方便。
如果验证通过、要正式接客服流量，建议直接上显存和内存更宽裕的一档：硅谷GPU服务器 III，GPU AMD WX 7100 / E5-2683v4双路 / 64GB / 1T SSD / 100M带宽，579元/月。64GB内存对向量检索和模型加载更从容，双路CPU在处理文档解析、批量重建索引时不容易成为瓶颈，100M带宽也留足了对外接口的余量。香港节点则在数据驻留和面向亚太用户时更合适，具体按合规要求取舍。
最后给一句决策建议：先用16~24GB显存的机器把7B或14B量化模型跑通，用真实客服日志压测出并发上限和首字延迟，再决定是否加卡或换更大模型；显存买大不买小，但模型和提示词不收敛，再大的卡也留不住延迟。