DeepSeek 热潮后，中小企业自建 RAG 知识库到底要多大显存？
最近不少中小团队在问：想用 DeepSeek、Qwen 这类开源模型搭一个内部知识库问答，到底要买多大显存的机器？云 GPU 按小时计费看着便宜，长期跑又心疼；物理机一次性投入大，怕买错。这篇上手指南从显存测算讲起，给出可落地的配置量级和避坑清单，帮运维和开发者把第一版 RAG 跑起来。
先算显存：RAG 知识库的显存到底花在哪
RAG 知识库的显存消耗主要分三块：大模型推理、Embedding 向量化、向量检索。其中大模型推理占大头，Embedding 和检索对显存要求很低，通常 2~4GB 就够。大模型推理的显存需求可以用一个粗略公式估算：显存 ≈ 参数量 × 精度字节数 × 1.2（KV Cache 与框架开销）。
- 7B 模型：FP16 约需 14~16GB，INT8 量化约 8~10GB，INT4 量化约 5~7GB。
- 14B 模型：FP16 约需 28~32GB，INT8 约 16~18GB，INT4 约 10~12GB。
- 32B 模型：FP16 约需 64GB 以上，INT8 约 36~40GB，INT4 约 22~26GB。
对多数中小企业知识库场景，7B~14B 模型配合 INT4/INT8 量化，单卡 24GB 显存（如 RTX 4090、A10、L4 级别）就能覆盖 10~30 路并发，首字延迟一般能控制在 1~2 秒内。如果追求更好效果上 32B，建议 48GB 显存起步，或采用双卡并行。注意：显存不足时框架会回退到 CPU 推理，延迟会从秒级掉到几十秒，这是最常见的“买了却不能用”的坑。
配什么机器：云 GPU、物理机还是 GPU 服务器租用
三条路线各有适用场景：
- 云 GPU 按需：适合验证期和流量波动大的业务，按小时计费灵活，但长期 7×24 跑推理，月成本通常是同规格物理机租用的 2~4 倍。
- 物理 GPU 服务器租用：适合已确定长期使用的知识库、客服机器人，月付几百到几千元量级，带宽和硬盘资源更充裕，数据落在独立机器上，合规更好交代。
- 自购硬件托管：一次性投入大，适合有 IDC 运维能力的团队，中小企业一般不优先考虑。
选购时重点对比这几个参数：GPU 型号与显存容量（决定能跑多大模型）、GPU 是否为独享（共享卡容易被邻居抢算力）、内存与硬盘（向量库和文档存储建议 SSD 起步）、带宽与流量（内网调用为主则 10M 够用，对外服务建议 50M 以上）、地区线路（面向国内用户优先香港 BGP/CN2，面向海外团队可选硅谷或新加坡）。
需要提醒的是，市面上不少低价“GPU 服务器”配的是 GT740、GTX 750 这类老卡，显存只有 2~4GB，跑 7B 量化模型都很吃力，只适合做轻量 Embedding 或图像预处理，不要被“GPU”两个字误导。
手把手部署：从零跑通第一版 RAG
- 明确场景与并发：先统计知识库文档量（几千到几万份）、日活用户数、峰值并发。10 人以内团队内部使用，7B 量化模型 + 24GB 显存足够。
- 选推理框架：Ollama 适合快速验证，vLLM 适合生产环境高并发，两者都支持 OpenAI 兼容接口，方便后续切换模型。
- 搭向量库：文档量 10 万份以内，Milvus Lite 或 Qdrant 单机版即可，内存 16GB 起步。
- 做量化与压测：先用 INT4 量化跑通，再用 10~20 路并发压测首字延迟和吞吐，显存占用超过 85% 就要考虑降模型规格或加卡。
- 留好扩展位：选机器时预留一条 PCIe 插槽和足够电源功率，后续加卡或换卡不用整机重买。
常见坑：文档切分粒度过粗导致召回不准、Embedding 模型与生成模型版本不匹配、没做限流导致高峰期 OOM、把模型和向量库挤在同一块小显存卡上。建议模型推理和向量检索分机器部署，稳定性会好很多。
选购推荐
结合上面的配置量级，如果团队处于验证期、预算有限，可以先从入门级 GPU 机器起步跑通流程。秀米云在售的香港显卡物理服务器 2*E5-2660（1050 Ti），配置为 GPU 1050 Ti / 双路 E5-2660 / 64G 内存 / 240G SSD + 1T HDD / 10M 带宽，月付 196.35 元，4GB 显存适合跑 Embedding 向量化和轻量 7B 量化模型验证，64G 内存对向量库和文档处理比较友好，香港线路对国内访问延迟也较可控。如果后续要上更大模型或更高并发，再考虑 24GB 显存级别的机型，把验证期的投入压到最低，是中小团队比较稳妥的路径。
决策建议：先按“7B 量化 + 24GB 显存”作为生产基线做预算，验证期用低配 GPU 机器跑通 RAG 链路，压测确认并发和延迟后再决定是否升级。显存宁可留 20% 余量，也不要卡着模型下限买，否则一次流量高峰就可能让知识库不可用。