构建 AI Agent 时，基础模型并非越大越好。Agent 往往需要经历意图识别、规划、工具调用、结果校验和最终生成等多个环节，单次模型延迟会被调用链放大。因此，选型重点应从“模型能力排名”转向“任务质量、推理延迟、并发吞吐、稳定性与成本”的综合平衡。
一、先区分延迟与吞吐
推理性能不能只看一个“响应时间”。常用指标包括首 Token 延迟、Token 间延迟、端到端延迟和吞吐量。首 Token 延迟，即 TTFT，反映用户提交请求后多久看到第一个输出，通常包含排队、网络传输和输入预填充时间；Token 间延迟反映持续生成是否流畅；端到端延迟则统计完整响应结束前的总时间。相关定义可参考 NVIDIA NIM 指标文档。
吞吐量通常以每秒处理的 Token 数或单位时间完成的请求数衡量。低并发测试中表现很快的模型，在并发升高后可能因排队、显存不足或调度效率下降而出现明显抖动。反过来，大批处理虽然能够提高总吞吐，却可能增加单个请求的等待时间。因此，延迟与吞吐不是同一个指标，也不能脱离目标并发量单独比较。
二、Agent 场景为何更看重首响应
普通问答可能只调用一次模型，而 Agent 经常需要多轮推理和外部工具交互。假设规划、参数生成、工具结果分析和最终回答均依赖模型，那么任何一步变慢都会累积到完整任务中。对于客服、办公助手和交互式编码工具，首 Token 延迟直接影响用户体感；对于批量文档处理、离线审核等任务，总吞吐则通常比单请求速度更重要。
评测时应分别记录 P50、P95 和 P99 延迟。平均值容易掩盖高峰期的长尾问题，而线上用户遇到的卡顿往往来自排队、冷启动、超长上下文或个别工具超时。Agent 还应单独统计模型推理、检索、数据库访问、第三方接口和编排层耗时，避免把所有问题都归因于基础模型。
三、模型规模不是唯一选择标准
较小模型通常具备更低的计算需求和更快的生成速度，适合意图分类、路由、结构化参数提取、简单总结等确定性任务；较强模型更适合复杂规划、多约束推理和异常处理。生产系统可以采用分层路由：让轻量模型承担高频简单请求，仅把低置信度或高难度任务升级给更强模型。延迟优化也应优先考虑减少输出、减少不必要的模型调用以及并行执行独立步骤，相关原则可参考 来源链接。
模型能力评估必须贴近真实 Agent 任务。通用榜单不能直接代表工具参数是否准确、是否遵守 JSON Schema、是否会重复调用工具，以及面对工具失败时能否正确恢复。建议建立内部测试集，覆盖正常请求、歧义输入、空结果、权限不足、超时和恶意参数等情况，并同时记录成功率、重试率、平均调用轮数与人工接管率。
四、高并发吞吐取决于模型与推理引擎
自部署场景中，显存管理和调度机制往往决定并发上限。连续批处理可以在已有请求完成后及时加入新请求，减少计算资源空转；分页式 KV Cache 管理能够降低不规则序列造成的显存浪费；前缀缓存则适合大量请求共享系统提示词或固定工具说明的 Agent。vLLM 将 PagedAttention、连续批处理、分块预填充和前缀缓存列为关键推理能力，详见 vLLM 官方文档。
量化能够降低模型权重和部分缓存的显存占用，从而提高单卡可承载的并发量，但不同模型、硬件和精度方案可能带来不同程度的质量变化。张量并行可以部署更大模型，却增加跨卡通信；多副本部署更适合横向扩展独立请求。选型时不应默认“卡越多越快”，而要通过目标上下文长度、输出长度和并发分布进行压测。
五、建立可复现的选型压测
测试数据应模拟真实流量，而不是只发送固定长度的“你好”。建议按业务日志构建输入长度、输出长度、工具数量和请求到达率分布，并分别测试低并发、稳定负载、突发流量和长上下文场景。为避免比较失真，各候选模型应使用相同提示模板、停止条件、最大输出长度和质量判定规则。
- 质量门槛：先淘汰任务成功率、工具参数正确率或安全性不达标的模型。
- 交互指标：比较 TTFT、Token 间延迟以及 P95 端到端延迟。
- 容量指标：逐步提高并发，观察吞吐拐点、队列长度、超时率和显存占用。
- 经济指标：计算每个成功任务的实际成本，而不是只比较每百万 Token 单价。
- 稳定指标：检查限流、错误重试、冷启动、版本变更和服务降级能力。
六、常见选型误区
- 只看模型基准分数，不验证 Agent 工具调用和任务闭环成功率。
- 只测单请求延迟，不测试目标并发下的排队与长尾抖动。
- 忽略输出长度，使不同模型在不等工作量下被直接比较。
- 把流式输出当作总耗时下降。流式传输主要改善首屏体验，不必然缩短完整生成时间。
- 为了追求吞吐盲目扩大批次，结果导致交互请求等待时间上升。
总结
AI Agent 的基础模型选型应遵循“质量先达标，再优化延迟与吞吐”的顺序。实时交互业务优先关注 TTFT 和 P95 延迟，批处理业务优先关注稳定吞吐与单位任务成本，复杂 Agent 还要考察工具调用成功率和完整链路耗时。最稳妥的方案不是寻找绝对最快的模型，而是以真实任务集和目标并发压测为依据，结合模型分层、请求路由、缓存、连续批处理与容量治理，建立可持续迭代的推理架构。
