外贸企业自建RAG客服知识库，多大显存才够扛日常并发
先算清一件事：显存不是按「知识库多大」算，而是按「模型多大＋并发多少」算
做外贸的常见场景是这样的：产品手册、报价单、认证文件、售后FAQ几千到几万条，客服团队五六个人，旺季每天几百条咨询，想让AI先答一轮，答不了的再转人工。这个需求落到机器上，显存只由两件事决定：推理用的模型参数量和同时在线提问的人数，跟知识库有几万条文档关系不大——文档是放在向量库里的，占的是内存和磁盘。
通用估算口径（业界常用量级，实际视量化方式与服务框架而定）：
- 7B~8B 模型，FP16 约需 16GB 显存；INT8 约 8~10GB；4bit 量化约 5~6GB，再加上 2~4GB 的 KV Cache 与上下文开销。
- 14B 模型，FP16 约 28GB 以上，量化后大致落在 10~16GB 区间。
- 32B 模型，即便 4bit 量化也通常要 20GB 以上，FP16 基本要 64GB 级别。
- 70B 级别不是中小企业日常客服的合理起点，除非有明确的高质量要求且预算充足。
并发方面，同一张卡上每多一路并发，KV Cache 就多占一份。经验值是：单张 24GB 卡跑 7B/8B 量化模型，日常 5~10 路并发比较稳；16GB 卡跑 7B 量化，3~5 路并发；如果客服只有几个人，峰值同时提问往往不超过 5 路，16~24GB 显存就能覆盖大部分外贸客服的日常量。
成本账拆开：云GPU、物理机、API三条路各花多少钱
把花销分成四块看，比只盯显卡价格更接近真实支出。
一是算力。云GPU按小时计费，24GB 级别卡通常每小时几元到十几元，包月常见在千元到数千元量级；物理GPU服务器月付从一两百元的老卡机型到七八百元的主流卡机型都有，视显存与卡型而定；直接调大模型API则按 token 计费，客服量不大时每月几十到几百元也可能够用，但数据要出境、且长文档上下文成本会明显上升。
二是向量库与检索。几万条文档用开源向量库跑在普通CPU机器上就够，1T SSD 能装下绝大部分外贸企业的文档量，这块几乎不构成瓶颈。
三是带宽与地区。面向海外客户，机器放在香港、新加坡、日本、美国西部各有取舍：香港到内地与东南亚延迟低、无需备案，适合客服后台和内部使用；新加坡覆盖东南亚独立站与Shopee场景；美国西部带宽便宜、适合美洲客户为主的独立站。带宽按并发估，文本问答每路并发占用很低，10M 独享带宽通常够十几个客服同时用，真正吃带宽的是图片与语音。
四是隐性成本。包括模型选型与提示词调优的人力、知识库文档清洗（这部分往往最费时间）、以及后续换模型时的迁移成本。很多企业低估了第三项，实际项目里文档清洗常占总工期的四到六成。
怎么落地：从一台机器到能用的客服知识库
- 先定模型档位。中文外贸场景常用 Qwen 系列、Llama 系列，用 Ollama 或 vLLM 部署，先跑 7B~8B 量化版本验证效果，效果不够再上 14B。
- 再定并发目标。统计客服峰值同时提问数，按「峰值×2」留余量配显存，不要按平均值配。
- 测首字延迟。这是客服体验的关键指标，一般希望控制在 1~2 秒内出第一个字。延迟高优先看显存是否吃紧、是否被其他任务抢占，而不是先加带宽。
- 做兜底。检索不到答案或置信度低时转人工，并记录这些badcase反哺知识库，这是RAG能不能长期用下去的分水岭。
- 合规先行。涉及客户询盘、报价、合同的内容，若要求数据不出境，就把推理放在香港或内地的物理机上，避免把原始数据传到境外API。
避坑要点：不要拿游戏卡当生产推理卡长期跑（散热与稳定性风险）；不要只看显存不看卡型与内存，老平台配大显存也可能跑不满；不要一次性买高配，RAG效果没验证前，先用低配机器跑通流程更划算；注意区分「带宽10M」是独享还是共享。
选购推荐
按上面的口径，验证阶段或客服并发在个位数、预算有限的外贸团队，可以先从入门GPU物理机起步。香港显卡物理服务器2*E5-2660（1050 Ti）配 64G 内存、240G SSD 加 1T HDD、10M 带宽，月付 196.35 元，双路 E5 加 64G 内存足够承载向量库与检索服务，1050 Ti 的 4G 显存适合跑小参数量的量化模型做流程验证与低频问答，香港节点对内地与东南亚客服后台的访问延迟也比较友好。
如果验证后确认要走 7B 级别量化模型、并发需要往上抬，硅谷GPU服务器 IV配 GTX 1080、双路 E5-2680、32GB 内存、1T SSD、100M 带宽，月付 748 元，显存与算力都更适合承担日常推理，100M 带宽也方便后续接图片或语音类客服场景；面向美洲客户为主的独立站团队，放在硅谷在链路上更直接。
决策建议
外贸企业自建RAG客服，先按「模型档位定显存、峰值并发定余量」两句话把配置框住：日常客服并发在 5 路以内，16GB 显存级别的物理机加量化模型通常够用；要稳定跑 7B 以上模型并留并发余量，按 24GB 显存、32G 以上内存、1T SSD 去配。先用低配机器把文档清洗、检索和兜底流程跑通，再根据真实badcase和并发数据决定是否升级，比一步到位买高配更省钱也更少踩坑。