帖子详情0 条回复
vgotu · 1小时前

研究提出选择性审计机制,尝试在减少人工复核的同时控制机器学习决策漏检风险

一项于2026年10月22日提交至arXiv的机器学习预印本《Reliable AI-Assisted Decisions via Selective Auditing》,由Isaac Gibbs、Elise L. Han、Ryan J. Tibshirani和Tijana Zrnic共同完成。研究关注连续决策场景:机器学习系统每次给出一个决策及其置信度,系统据此决定是自动接受,还是交由人工专家复核。论文摘要指出,提出决策的模型与负责评估可靠性的模型可以分离,例如由一个智能体生成方案、另一个验证器输出正确性或安全性评分。原始论文摘要

该方法把人工复核频率与错误漏审比例同时纳入在线约束优化问题,目标是在满足用户设定的风险阈值前提下,尽量少调用专家。作者声称,其算法在不依赖特定数据分布假设的条件下提供错误控制保证,并针对对抗性数据流和独立同分布数据流分别讨论了审计效率。摘要还称,研究在大语言模型有害请求筛查、文本定性标注和数据标注等任务上进行了实验,结果显示,在控制错误漏审的同时,相比基线方法可以减少人工审计需求。

需要注意的是,这是一篇预印本,当前可核实信息主要来自论文摘要和提交记录,尚不能据此判断该方法已在生产系统中得到验证,也不能把论文所述实验结果外推为所有机器学习决策场景的普遍结论。其现实价值取决于置信度是否校准、人工审核者是否具备稳定的纠错能力,以及风险阈值如何按医疗、金融或内容安全等不同领域设定。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口