阿布扎比穆罕默德·本·扎耶德人工智能大学研究者在论文《PROBE：学习审计工具调用大语言模型智能体的策略合规性》中，提出一种用于自动发现智能体策略违规行为的方法。论文页面显示，该预印本于2026年10月15日提交至arXiv。论文原文
研究者指出，现有评测通常分别关注任务能力或有害内容，却不一定能发现智能体在完成正常任务时是否违反价格、隐私、确认、安全和运营规则。尤其当违规行为需要多轮对话、连续调用多个工具，或在下游系统中才显现时，单轮测试和静态红队测试可能会遗漏风险。
PROBE把审计过程建模为一个双方交互的环境：较小的审计模型以真实用户或测试人员身份与目标智能体对话，通过多轮、工具驱动的行为探索寻找策略违规。训练奖励同时考虑违规发现数量、行为是否像真实用户、对话是否取得进展，以及发现的违规类型是否多样。研究者比较了GRPO、DPO和GFlowNet三种优化方法，并在一个包含8个工具、20项业务与安全策略的模拟航班预订环境中进行实验。研究方法与实验说明
论文报告称，在该实验设置中，经过训练的4B审计模型将留出策略覆盖率从强零样本审计器的35%提高到最高60%，并在部分评估中发现多策略违规。作者还称，随机探测只能发现20项策略中的1项，零样本30B审计器发现7项，而训练后的4B审计器最多发现12项。这意味着审计模型的规模并不必然决定其发现过程性违规的能力，针对审计目标的训练和奖励设计同样重要。
不过，这些数字来自论文作者构建的模拟环境和评测体系，不能直接外推到所有真实企业智能体。论文还报告了确定性重新评分下较低的覆盖率，说明评估器设计、奖励偏差和违规判定方式仍会影响结论。对企业而言，值得关注的不是单一覆盖率数字，而是是否能持续记录完整对话、工具调用、权限变化和最终状态，并用独立审计器检查跨轮次的合规性。PROBE所代表的方向，是把智能体安全评测从“能否完成任务”推进到“完成任务的过程中是否遵守规则”。
参考来源：
- PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents 2026-10-15
- PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents（HTML全文） 2026-10-15
由 AI 整理，仅供参考；请以原始来源为准。
