企业大模型私有化落地，算力采购始终绕不开两大痛点：GPU过剩造成资源浪费，GPU不足引发显存溢出、并发承压、业务崩盘。
很多团队评估算力只看模型参数，这是典型的浅层思维。真正的工程算力评估，核心逻辑只有一条：不看模型大小，看真实业务负载。
本文梳理一套可直接落地的企业算力评估方法论。通过标准化公式、真实演算案例、业务场景适配，带你精准核算显存、并发、吞吐与GPU数量。适用于 RAG 知识库、智能 Agent、私有化推理、批量任务、LoRA 微调等绝大多数企业场景。
一、企业AI算力两大核心场景
企业AI业务可分为两大类，两类场景的算力瓶颈、计算逻辑完全不同，评估方式不能通用。
1. 在线推理场景（90%企业主流）
适用于企业智能问答、RAG 知识库、Agent 办公助手、智能客服等实时交互业务。这类场景的核心瓶颈是显存（KV Cache）。绝大多数线上故障不是算力不够，而是多轮上下文累积导致显存打满、触发 OOM。
2. 离线任务 & 微调场景
适用于批量文档解析、内容摘要、数据清洗、LoRA 微调与模型迭代。这类场景核心瓶颈是算力吞吐与显存带宽，不关注瞬时在线并发，只关注单位时间内能处理的 Token 总量。
企业90%的GPU预算，均用于解决在线推理的显存瓶颈问题。因此算力评估的重点，也集中在推理场景。
二、通用算力评估核心公式
大模型推理本质是显存资源博弈。整体显存消耗由三部分构成，下面逐层拆解标准化计算公式。
1. 单卡总显存占用
总显存占用 = 模型权重显存 + KV Cache显存 + 系统预留显存
模型权重显存由模型参数规模和量化精度决定，是基础固定开销：
权重显存(GB) = 模型规模(B) × 量化系数
FP16/BF16：系数 2
INT8：系数 1
INT4：系数 0.5（企业私有化部署首选，性价比最高）
参考基准：7B INT4=3.5GB、13B INT4=6.5GB、70B INT4=35GB
KV Cache显存是动态开销，也是最大变量。在线多轮对话、长文本 RAG 场景下，显存占用随上下文长度、并发数量线性上涨，是线上爆卡的核心原因。
工程经验参考（单会话）：7B 模型 4k 上下文≈0.5GB、8k 上下文≈1.0GB，13B、70B 模型显存消耗会成倍递增。
系统预留显存：生产环境统一预留 3~4GB，用于驱动、框架、运行时开销，不可占用。
2. 单卡稳定并发计算
扣除固定开销后，剩余显存才能用于承载用户并发请求。
单卡可用显存 = 单卡总显存 - 模型权重显存 - 系统预留显存
单卡理论最大并发 = 可用显存 ÷ 单会话KV Cache显存
理论值仅作参考，生产环境必须预留波动冗余。行业安全系数取 0.6~0.8。
稳定可用并发 = 理论并发 × 安全系数
3. 最终GPU数量核算
算力扩容只看峰值压力，平均数据无参考意义。
所需卡数 = 业务峰值并发 ÷ 单卡稳定并发（向上取整）
核心重点：严禁使用日均并发计算！显存溢出、服务崩溃只发生在业务高峰时段。
三、企业实战完整演算案例
结合一套最通用的企业部署场景，完整走一遍算力测算流程，可直接对标复用。
场景条件：7B 模型 INT4 量化、A10（24GB）显卡、4k 上下文、业务峰值并发 100 人
1. 模型权重显存：7 × 0.5 = 3.5GB
2. 系统预留显存：3GB
3. 单卡可用显存：24 - 3.5 - 3 = 17.5GB
4. 单会话 KV Cache 显存：0.5GB
5. 单卡理论最大并发：17.5 ÷ 0.5 = 35 路
6. 生产稳定并发（0.7 安全系数）：24 路
7. 最终所需 GPU：100 ÷ 24 ≈ 5 张（理论 4 张够用，生产预留冗余）
结论：该业务场景下，部署 5 张 A10 可稳定承载 100 峰值并发。
四、不同业务场景算力适配规则
不同 AI 业务的交互模式、显存压力完全不同，不能用一套公式硬套，需要差异化评估。
1. 企业 RAG 知识库
特点是输入文本长、输出文本短，Prompt 占用显存极高，瞬间压力大。评估原则：严格按峰值并发、最长上下文核算，避免长文本请求打满显存。
2. 智能 Agent 办公助手
多轮会话频繁迭代，上下文持续累积，KV Cache 不断叠加，显存压力远高于普通问答。评估原则：安全系数降至 0.6，提高算力冗余，防止会话叠加导致渐进式 OOM。
3. 离线批量处理任务
无并发压力，核心看整体 Token 吞吐。A10 + 7B INT4 稳定吞吐约 80~120 token/s，可根据每日文档总量、处理时限反推所需显卡数量。
4. LoRA 微调场景
7B 模型可单卡 A10 完成微调，13B 建议双卡部署，70B 必须多卡并行。微调场景优先看显存带宽，而非单纯显存容量。
五、企业算力评估四大致命误区
绝大多数资源浪费、线上崩盘问题，都来自下面四个典型工程误区。
1. 忽略 KV Cache：只算模型权重显存，低估动态开销，上线后 KV Cache 快速占满显存，直接 OOM 崩溃。
2. 误用日均并发：用平均流量评估算力，完全忽略早晚办公高峰，导致高峰期服务雪崩。
3. 不做量化部署：直接 FP16 裸跑推理，显存占用翻倍，企业硬件成本直接翻倍浪费。
4. 卡型场景错配：用昂贵训练卡 A100 做日常推理，性价比极低；企业推理首选 A10、L20，成本可控、性能适配。
六、标准化算力评估落地流程
一套可直接落地、可交给运维/架构师复用的算力评估流程。
1. 梳理业务类型：区分在线推理、离线批量任务、模型微调
2. 确定模型规格：选定 7B、13B、70B 等底座版本
3. 敲定量化策略：企业推理场景优先 INT4 量化
4. 统计核心指标：梳理业务峰值并发、固定上下文长度
5. 分层核算显存：依次计算模型权重、KV Cache、系统预留开销
6. 测算单卡稳定并发，结合峰值流量得出基础卡数
7. 叠加安全冗余，确定最终算力规模
8. 结合预算、机位、功耗，完成 GPU 最终选型
七、写在最后
企业AI算力采购，从来不是参数越大、数量越多越好。成熟的工程落地，追求的是业务负载与算力资源的精准匹配。
精准的算力评估，可以同时规避资源闲置浪费、显存溢出故障、硬件成本虚高三大问题，让企业AI服务更稳定、更低成本、更可迭代。
算力评估不是玄学，是一套可量化、可计算、可复用的工程能力。也是企业AI从 Demo 试水，走向规模化生产的关键一步。