中小企业自建RAG知识库要多大显存才够并发问答？
做矩阵站群的团队，最近问得最多的不是外链，而是「几十个站的内容问答机器人，自己搭一套RAG知识库，到底要多大显存、能扛多少并发」。真实情况是：一套RAG系统的瓶颈往往不在向量库，而在推理那一侧——显存决定能装多大模型，显存带宽和算力决定首字延迟，并发数则要看显存余量与批处理策略。下面把这笔账拆开算。
显存怎么算：模型权重只是起步价
先记住一个粗略口径：FP16精度下，每10亿参数约需2GB显存，INT8约1GB，INT4约0.5GB。也就是说，7B模型INT4量化后权重约4GB，14B约8GB，32B约16GB。但权重只是起步价，还要叠加三块开销：
- KV Cache（上下文缓存）：与并发数、上下文长度成正比。7B模型、4K上下文、单路并发通常占0.5~1GB，并发翻倍缓存也翻倍。
- 框架与运行时开销：推理框架本身、向量检索服务、Embedding模型一般再占2~4GB。
- 余量：建议留20%以上，避免长文档问答时OOM。
由此得到一个实用判断：单卡24GB（如4090级别）跑7B/INT4，可支撑4K上下文下约8~16路并发问答；跑14B/INT4则降到4~8路；32B建议上48GB及以上显存。若用DeepSeek、Qwen这类更大参数模型做私有化，通常需要多卡或直接租算力，不是单机显卡服务器能承接的。
并发问答的成本账：云GPU、物理机、多IP怎么选
矩阵站群的真实负载特征是：站点多、单站流量低、问答请求呈尖峰分布。按这个画像拆月度花销：
- 云GPU按量：24GB显存档位一般每小时数元到十几元，全天候跑一个月往往上千元，适合验证期，不适合长期挂机。
- 物理GPU服务器：入门级显卡物理机月付多在百元到数百元量级，显存小、算力弱，适合做Embedding、重排、小模型问答或开发测试环境；真正跑7B以上推理，通常要选带24GB显存的机器，月付进入数百到一两千元区间，视地区与带宽而定。
- 带宽与IP：RAG问答的返回是文本流，单路并发占用的带宽很小，100M共享带宽足够几十路问答；矩阵站群更在意的是多IP与独立站点的隔离，这部分成本要单独列，别和GPU预算混在一起。
- 地区差异：香港机房到内地延迟低、免备案场景友好，适合面向国内团队管理后台；硅谷机房国际带宽充裕、出口干净，适合面向海外用户的独立站问答和AI出海业务。合规上，涉及用户数据出境的知识库，建议把向量库与模型放在同一地区，减少跨境传输。
一个常见的省钱路径：Embedding与向量检索放在便宜的显卡物理机上，大模型推理放在带24GB显存的GPU服务器上，两者用内网或低延迟链路串起来，比全部堆在一台高配机上更划算。
怎么落地：五步搭建与避坑清单
- 先定模型规模：站点问答以FAQ、产品资料为主，7B/INT4通常够用；需要多语言、长文档总结再考虑14B。
- 压测再买机器：用真实问题集测首字延迟与并发上限，目标首字延迟控制在1~2秒内，超过就加显存或降量化。
- 拆分服务：推理、Embedding、向量库分进程部署，避免一个服务OOM拖垮整站问答。
- 做降级策略：高峰期限流、短上下文截断、缓存高频问答结果，能显著降低对显存的硬要求。
- 监控显存水位：长期高于85%就要扩容，否则长文档请求会随机失败。
避坑要点：不要用游戏卡长时间满载跑推理，散热与稳定性风险高；不要只看显存不看带宽，显存带宽不足会让首字延迟明显变长；不要把矩阵站群的爬虫流量和问答流量混在同一IP上，容易被一起限速。
选购推荐与决策建议
按上面的账，做站群RAG的团队通常分两步走：先用一台低成本显卡物理机跑Embedding、重排和小模型问答，验证知识库效果；再上一台GPU服务器承接主推理。香港侧可考虑香港显卡物理服务器2*E5-2660（1050 Ti），64G内存、240G SSD加1T HDD、10M带宽，196.35元/月，双路CPU加64G内存适合同时挂向量库与检索服务，1050 Ti的4G显存跑Embedding和7B/INT4的小流量问答够用，香港线路对内地管理后台延迟友好。若面向海外独立站用户、需要更充裕的国际带宽，可看硅谷GPU服务器 IV，E5-2680双路、32GB内存、1T SSD、100M带宽，748元/月，适合作为主推理节点承接多站问答的尖峰流量。
总结一句：7B模型配24GB显存可承接个位数到十几路并发，14B减半，32B要上48GB以上；预算有限的矩阵站群，优先把Embedding与推理拆开、按真实压测数据扩容，比一次性堆高配机器更稳。