新研究FusionAudit关注原生视觉语言模型的安全评估问题。论文于2026年10月16日出现在arXiv的计算机视觉与模式识别更新列表中，作者来自新加坡南洋理工大学等机构。论文摘要与原文
研究认为，传统评测通常把像素扰动和图像文字覆盖分开处理，并用单一攻击结果衡量模型鲁棒性，这可能遗漏原生多模态架构中的特定弱点。原生模型让视觉信息更早、更深地进入语言模型计算，图像像素、场景文字和用户提示可能在同一表示空间中相互竞争，因此旧有评测方法未必能完整反映其风险。
论文提出PaRMA审计框架，将视觉攻击面划分为像素扰动和渲染文字插入两条路径，并根据初步攻击暴露出的行为特征设计后续测试。研究特别描述了一种“看见但不被欺骗”的现象：模型能够读取图像中叠加的文字，也会对这些区域投入较多注意力，但在任务回答中不一定采纳这些文字。这意味着单纯测试文字覆盖是否改变答案，可能低估模型对更自然、更符合原始场景的视觉证据的敏感性。
在此基础上，FusionAudit引入MANTIS和Nat-Evid两类诊断驱动的攻击。前者把优化重点放在正确答案与错误答案首次分歧的词元上，后者尝试将错误信息以更符合图像原有风格的方式嵌入场景。论文称，研究对18个开放权重视觉语言模型进行了审计，并发现只使用传统单一攻击得到的模型排序并不稳定；加入这些针对诊断结果设计的测试后，评估出的残余视觉风险会提高。
这项工作目前主要是论文作者提出的评测框架和实验结论，不能直接等同于所有视觉语言模型都存在同等程度的安全缺陷。其价值在于提醒开发者：模型安全测试不应只关注攻击成功率，还要区分模型是否读到了恶意视觉内容、是否采用了这些内容，以及不同融合架构是否暴露出不同的攻击路径。论文所报告的模型范围、数据集和攻击设置仍需结合完整实验部分进一步核对，现阶段不宜据此外推整个行业。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
