德州理工大学研究者在2026年10月12日公开的预印本中提出RATED，一种面向AI智能体的可靠性感知工具检索框架。研究者认为，智能体调用外部工具时，传统方法主要依据语义相关性排序，却往往忽略工具在实际执行中的失效、超时或认证问题。RATED将语义检索与运行反馈结合：先用双编码器找出候选工具，再通过轻量级上下文多臂老虎机，根据最近一次或多次执行结果动态调整排序，不必重新训练主模型。论文原文
论文同时构建了EcoAgent基准，汇集来自LangChain、CrewAI、LlamaIndex和n8n等平台的5172个工具，以及超过21万个查询—工具配对。按照论文基于名称与描述一致性、来源可信度和文档质量制定的元数据评分，2940个工具被标记为“可靠”，占比56.8%。这一比例反映的是该研究的自动化评价标准，并不等同于所有工具在真实生产环境中的可用率。
在研究者设置的实验中，当工具故障率被人为设为30%时，RATED的错误工具选择率为2.9%，对比ToolLLM API检索器的86.2%；在真实查询测试中，其平均倒数排名指标相对对照方法提升52.2%，额外延迟低于1毫秒。需要注意的是，这些结果来自论文作者构建的基准和故障注入实验，尚不能直接证明该方法在不同企业工具库、复杂权限体系或持续变化的接口环境中同样有效。
这项工作的意义不在于单纯提高工具“找得准不准”，而是把工具可用性纳入智能体决策闭环。当多个工具功能相近、但稳定性差异明显时，智能体可以根据执行结果及时避开失效工具，减少因接口故障导致的重复规划和任务中断。对实际部署者而言，值得继续观察的指标包括故障反馈是否准确、系统是否会因短期异常频繁切换工具，以及可靠性评分能否覆盖权限、成本、数据合规等语义相关性之外的约束。由于该成果目前以预印本形式发布，结论仍需更多公开复现实验和生产环境验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
