自建RAG知识库要多大显存？一笔成本账算清该买什么AI服务器

做内容的人最近常问同一个问题：手上有几百上千篇历史文章、一堆PDF和客服问答，想搭一个能问答的知识库，到底要不要买带显卡的服务器？答案取决于一件很具体的事——显存要多大。显存不够，模型加载不进去，或者一两个人提问就排队；显存买多了，每月多花的钱够买一年的对象存储。这笔账拆开算，比听任何结论都有用。

坑点一：把「能跑起来」当成「够用」

RAG（检索增强生成）系统由两部分吃资源：向量检索和文本生成。向量检索用嵌入模型把文档切块后编码，再存进向量库（常见如 FAISS、Milvus、Qdrant），这部分对显存要求低，几GB足够，很多场景甚至可以用CPU跑，代价是首次建库慢。真正吃显存的是生成模型。

判断标准很简单：先看模型参数与量化方式。7B级别的模型（如 Qwen 系列、Llama 系列的7B档）用4bit量化，权重通常占4~6GB；13B~14B档约8~10GB；32B档即使4bit也要16~20GB；70B档基本要两张24GB卡起步。这还只是权重，实际推理时KV Cache、上下文长度、并发数都会继续占显存。

常见的坑是：用一张16GB卡加载14B模型，单人短问题能答，文档一长、上下文拉到8K，或者两三个人同时提问，就开始报显存不足或首字延迟从1秒涨到十几秒。对自媒体博主来说，后台问答一旦卡顿，读者直接关页面。

坑点二：只看显存不看带宽和线路，访问体验打折

显存决定「能不能算」，线路决定「算完多快送到用户面前」。RAG知识库通常挂在网站或小程序后面，如果服务器在海外而读者主要在国内，回程线路会明显影响首字延迟。香港机房对国内访问普遍友好，适合面向国内读者的知识库；硅谷机房带宽大、单价低，适合面向海外用户或做AI出海内容站。

选型时至少要对比这几项：显存容量与卡型（消费级卡做推理可行，但要注意驱动与框架兼容）、内存（建议不低于32GB，向量库和文档处理都吃内存）、系统盘与数据盘（文档和向量索引会持续增长，1T SSD是较稳的起点）、带宽与流量（10M适合小流量问答，100M适合有一定并发的内容站）、以及是否支持数据不出境以满足合规要求。

坑点三：云GPU按小时计费，长期跑成本失控

成本账要按「长期在线」来算。云GPU按小时计费，入门级推理卡每小时通常在几元到十几元量级，一个月不间断跑下来，往往高于同档物理服务器月租；好处是按需开关、不用运维。如果知识库是7×24对外服务，物理机或包月GPU服务器通常更划算，价格量级多在每月一百多元到七八百元之间，视卡型和配置而定。

另一个容易忽略的坑是：向量库和文档索引需要持久化存储，用按量计费的云盘时，随着PDF和图片增多，存储费用会悄悄上涨。自建物理机把存储包含在月租里，预算更好控制。

坑点四：忽略并发与首字延迟的实测

选型前建议做一次小规模压测：准备20~50条真实问题，记录单人、3人、5人同时提问时的首字延迟和完整回答时间。经验上，7B量化模型配8~12GB显存，可以支撑个位数并发；14B模型建议16GB以上显存；如果要做对外客服且并发较高，24GB显存是更稳妥的起点。压测数据比参数表更能说明问题。

还要注意上下文长度设置。RAG会把检索到的文档片段拼进提示词，上下文越长，KV Cache占用越大。默认开满长上下文再叠加多并发，显存会迅速见底，合理做法是按业务需要限制检索条数和片段长度。

选购推荐

结合上面的判断标准，个人站长和自媒体博主起步阶段不必一步到位。如果知识库主要面向国内读者、文档量在几百到几千篇、并发不高，可以优先考虑香港显卡物理服务器2*E5-2660 (1050 Ti)，64G内存与240G SSD加1T HDD的组合，跑7B量化模型加向量检索比较从容，10M带宽对问答类站点通常够用，月租196.35元，适合先把流程跑通再扩容。

如果内容站面向海外用户，或者需要更大带宽、后续想升级到14B档模型，硅谷GPU服务器 III更值得看：AMD WX 7100 显卡、双路E5-2683v4、64GB内存、1T SSD、100M带宽，月租579元，显存和内存余量更大，做RAG加轻量AI客服的余地从容。先用小配置验证检索质量和回答效果，再按并发增长换卡，是这类项目比较省钱的路径。

总结一句：显存选型先看模型档位（7B约4~6GB、14B约8~10GB、32B约16~20GB，均为4bit量化下的权重占用），再按并发和上下文留出余量；预算有限就用香港或硅谷的包月GPU物理机起步，把首字延迟和并发压测做完再决定是否升级，比一次性买顶配更稳妥。