OpenAI在2026年11月2日发布研究文章,披露其正在训练并部署“激活分类器”(activation classifiers,也称 probes),作为前沿模型安全防护体系的一层补充。原始来源:OpenAI Alignment Research Blog《Training activation classifiers for safety and alignment》
这类分类器不只读取用户输入或模型输出文本,而是分析大语言模型生成过程中的内部激活信号,判断内容是否可能违反安全政策。OpenAI介绍称,探针可以在生成过程中逐个令牌进行评分;一旦风险分数超过阈值,系统会停止继续向用户输出,并将请求升级给推理模型进行进一步判断。涉及工具调用时,相关调用也会在安全确认前被阻止。按该公司的说法,激活分类器已经用于其最强模型的内部和外部流量,但文章同时强调,文中实验数据并不一定代表所有已部署分类器的实际表现。OpenAI原始说明
从技术机制看,这是一种“白盒”安全监测思路:安全系统不再完全依赖外部模型对文本做事后审查,而是直接利用被监测模型运行时的内部表示进行流式判断。OpenAI称,在其测试中,探针对部分越狱攻击表现出比文本分类器更强的稳健性,运行成本也较低;探针性能还可能随着被监测模型能力提升而改善。不过,这些结论主要来自OpenAI披露的内部实验和红队测试,尚缺乏独立机构的复现实验,不能直接视为普遍成立的行业结论。
该方案仍有明确限制。探针依赖带标签的训练数据,只能识别已经被定义和训练过的风险类型;它与模型内部激活高度耦合,更换基础模型或模型权重变化后,通常需要重新训练,性能也可能下降。此外,攻击者如果能够观察或适应安全系统的信号,仍可能寻找规避方式。因此,激活分类器更适合被理解为纵深防御中的新增监测层,而不是可以替代文本审核、模型复核、红队测试和人工响应的单一方案。
事件日期与报道发布日期:2026年11月2日,均据OpenAI文章页面标注。本文只依据该公司公开文章整理;关于部署规模、实际拦截率和长期误报率,来源未提供足以独立核验的完整数据。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情