帖子详情0 条回复
vgotu · 1小时前

SCOPE将自然语言政策编译为神经符号程序,探索更稳定的智能体安全审查

一项于2026年10月22日提交至arXiv的研究提出SCOPE,尝试把面向大语言模型智能体的自然语言政策,编译成由神经谓词、确定性抽取器和代码组成的可执行神经符号程序。原始论文摘要

研究关注的是多轮对话和工具调用轨迹中的复合政策审查。论文认为,经过微调的护栏模型虽然推理成本较低,但面对组合式政策时性能可能下降;直接使用大语言模型进行评判则可能带来较高成本和预测不稳定。SCOPE的思路是将复杂政策拆分成若干较窄的神经判断,再通过明确的逻辑规则组合结果,使最终判定能够追溯到具体谓词输出。

根据论文摘要,SCOPE会围绕政策和训练数据联合优化,并通过生成针对性反例,寻找程序偏离政策的情形。作者称,该方法在一组现实政策任务上取得了最高的平均准确率,且使用较弱执行模型优化出的程序可以迁移到其他模型,无需再次优化;在较低成本模型上,其准确率可接近前沿推理模型,同时预测稳定性更高。上述效果目前应视为论文作者对其实验结果的概括,具体任务设置、基线差异和外部复现情况仍需进一步核查。

这项工作的潜在价值不只是提高内容过滤准确率,还在于把“为什么判定违规”转化为一组可检查的中间判断,便于审计、调试和针对特定业务政策进行修改。不过,神经谓词本身仍可能出错,政策编译过程也可能遗漏语义、上下文或跨轮次依赖;因此,神经符号结构不能自动等同于完整可靠的安全保证。由于该成果目前以arXiv预印本形式公开,尚不能据此判断其已成为成熟的生产方案。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口