AI Agent 的能力上限，很大程度取决于基础模型能否准确理解环境、规划步骤、调用工具并根据反馈修正行动。当业务输入从纯文本扩展到图片、语音、视频、表格和扫描文档后，选型重点也应从“模型会不会聊天”转向“模型能否在多种模态之间建立可靠联系，并完成可验证的任务闭环”。
一、先区分多模态融合与跨模态推理
多模态融合是指模型能够接收并联合处理文本、图像、音频或视频等信息。例如，用户上传设备照片并补充故障描述，模型需要同时利用视觉特征和文字背景生成判断，而不是分别处理后简单拼接答案。
跨模态推理则更进一步，强调模型在不同模态之间建立因果、空间、时间或语义关系。例如，模型不仅要识别仪表盘上的数值，还要结合维修手册判断数值是否异常，再调用工单系统生成处理建议。前者解决“看见了什么”，后者解决“这些信息共同意味着什么，以及下一步做什么”。
对 AI Agent 而言，多模态输入只是感知入口，跨模态推理、工具调用和结果校验才构成实际执行能力。
二、基础模型选型的六个核心维度
1. 模态覆盖是否符合真实需求
不要因为模型标注“多模态”就默认其支持所有输入与输出。应分别核对文本、图片、音频、视频和文件的输入方式，以及是否支持语音或图像生成。部分模型可以理解图片，却不能直接接收视频；有些方案需要先进行抽帧、语音转写或 OCR，再交给主模型处理。OpenAI、Google 和 Anthropic 均在开发者文档中提供了相关能力说明，可参考 来源链接 开发者文档、Gemini API 文档 与 Claude 视觉文档。
2. 推理质量是否覆盖关键场景
通用排行榜只能作为初筛依据，不能代替业务评测。团队应建立包含真实图片、复杂表格、模糊扫描件、长文档和异常输入的测试集，重点观察模型能否识别关键信息、关联不同模态、解释判断依据，并在证据不足时明确表达不确定性。
3. Agent 工具调用是否稳定
一个适合 Agent 的模型，需要可靠生成结构化参数，选择正确工具，并根据执行结果继续规划。选型时应测试函数调用、JSON 输出、并行工具调用、失败重试和长任务状态保持。模型偶尔答对问题并不够，连续十多个步骤仍能遵守约束，才更接近生产要求。
4. 上下文与多轮记忆是否可控
多模态内容通常占用更多上下文资源，尤其是多张高分辨率图片、长视频抽帧和大型 PDF。除上下文窗口外，还要关注图片压缩策略、历史消息重复传输、提示缓存和文件复用机制。Anthropic 文档特别提示，多轮请求若反复携带 Base64 图片，可能增加请求体和延迟，因此生产系统应通过文件引用、摘要记忆和分层检索降低负担。
5. 延迟、成本与并发是否匹配
高能力模型不一定适合所有环节。常见方案是采用分层路由：轻量模型负责意图识别、分类和简单视觉提取，高能力模型处理复杂推理与高风险决策，专用模型负责 OCR、语音识别或图像生成。这样既能控制费用，也能减少简单任务被复杂推理拖慢的问题。
6. 安全、合规与可观测性是否完善
企业应用还要评估数据保存政策、部署区域、权限隔离、内容安全、审计日志和模型版本管理。Agent 能够调用外部系统时，应采用最小权限、参数校验、敏感操作二次审批和完整轨迹记录，避免模型误读图片或错误推理后直接执行不可逆操作。
三、如何设计有效的跨模态评测
- 建立任务分层：将测试拆分为感知、信息抽取、跨模态关联、计划生成、工具执行和结果复核。
- 引入干扰样本：加入低清图片、错误说明、遮挡内容和相互矛盾的证据，检查模型是否盲目迎合提示。
- 记录端到端指标：除答案准确性外，还应统计任务完成率、工具选择错误、人工接管次数、响应时间和单任务成本。
- 采用固定输出格式：要求模型区分观察事实、推理过程、结论与待确认事项，使错误更容易定位。
- 持续回归测试：模型版本、提示词、工具接口或图像预处理方式变化后，都应重新验证关键任务。
在提示设计上，要明确指出模型应关注的图像区域、需要提取的字段和预期输出格式。Google 的多模态提示设计指南也建议使用具体指令、示例和任务拆分，避免仅用“描述图片”这类过于宽泛的要求。
四、推荐的生产架构思路
成熟的多模态 Agent 不应完全依赖单一模型。更稳妥的架构是先进行文件解析、OCR、语音转写和图像质量检测，再由路由层选择模型；推理层负责整合证据和形成计划；工具层执行检索、查询或业务操作；最后由验证层检查引用、参数和执行结果。对于高风险场景，应保留人工审批节点，而不是追求无条件自动化。
总结
AI Agent 基础模型选型没有脱离场景的“最强答案”。真正重要的是模型能否覆盖所需模态，在复杂输入中完成跨模态关联，稳定调用工具，并以可接受的成本和延迟持续运行。建议先用真实业务样本完成小规模对比，再通过模型路由、专用组件、权限控制和回归评测逐步上线。选对模型只是起点，建立可验证、可替换、可观测的系统，才是多模态 Agent 长期可靠运行的关键。
