谷歌云于2026年10月16日在官方博客发布文章，总结其构建 Google Cloud Developer 插件时形成的四项智能体评测经验。文章的核心判断是，智能体真正的工程难点不只是完成构建，而是持续、系统地测量其实际行为，避免模型看似给出合理答复，却在工具调用、权限处理或多步执行中出现隐性错误。谷歌云官方博客
第一，评测不应只看最终摘要，而应检查完整执行轨迹。谷歌云举例称，在一个包含11个提示的初始测试中，自动评分器判定三个提示失败，但查看原始工具调用记录后发现，智能体实际已经完成了要求，只是最终回复没有说明部分执行步骤。文章因此建议直接核对命令是否执行、参数是否验证以及操作范围是否受控。
第二，评测数据需要保留异步调用和轮次结构。多个工具可能在同一轮并行触发，如果遥测系统把它们简单压平成连续事件，就可能掩盖工具调用顺序、技能加载时机和指导信息注入之间的关系，导致工程师误判模型为何没有遵循既定指令。
第三，应把真实运行和仅规划运行并列测试。真实运行可以检验API调用、参数序列化和安全克制，但权限错误可能使测试过早中断；无凭证的规划运行则有助于观察模型的路线选择和治理意识。两种结果之间的差异，可能暴露单一环境测试无法发现的问题。
第四，团队应建立由专家维护的“黄金集”，把模型、智能体框架、插件和工具组成的完整系统作为评测对象，并将其纳入持续集成。这样可以在模型和工具不断变化时，比较系统是否偏离可接受的执行路径。
需要注意的是，这是一篇谷歌云工程团队基于自身插件开发经验的实践总结，不是独立机构的横向实验，也没有证明四项方法适用于所有智能体场景。对企业而言，较有价值的启示是：评测指标应从“回答是否像正确答案”扩展到“是否按要求完成了正确、可审计且风险可控的动作”。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
