帖子详情0 条回复
vgotu · 7小时前

Neural Expansion以方向性覆盖解释深度网络泛化,但仍需更多独立验证

一篇发表于2026年10月16日的预印本提出“Neural Expansion(神经扩展)”框架,试图从输入空间的局部几何解释深度神经网络如何从训练样本推广到未见样本。论文作者来自佛罗里达州立大学等机构,核心观点是:模型训练后会围绕训练样本形成具有方向差异的稳定区域,测试样本若落入这些区域,模型就更可能保持原有分类。相关定义和实验见论文原文。

论文用“泛化区间”描述沿某一方向移动时、预测类别保持不变的最大范围,并将这些区间组成“射线覆盖”。作者认为,泛化并不只是样本之间的距离或单一的分类间隔问题,而与模型在不同输入方向上的敏感度有关。根据论文摘要及正文介绍,训练后网络在雅可比矩阵奇异值较低的方向上往往具有更宽的稳定区域,而在高敏感方向上更容易发生预测变化。

研究团队进一步把这一几何视角与对抗样本、分布外样本和错误标注联系起来:如果某些样本位于训练样本射线覆盖范围内,模型可能在没有逐样本记忆的情况下作出相同判断;反过来,覆盖范围的方向性也可能解释为什么小幅但特定方向的扰动会改变分类。论文报告了在MNIST、CIFAR-10、ImageNette以及多种多层感知机、卷积网络和视觉Transformer上的实验,并声称该框架能够统一描述标准泛化、对抗脆弱性和部分长尾错误。

这项工作的价值主要在于提供了一个比全局损失或传统间隔更局部的观察指标:研究者可以沿不同方向测量模型预测稳定多久,再结合雅可比奇异值分析模型的敏感区域。不过,现阶段应将其视为作者提出的理论框架和实验性解释,而不是已经被广泛验证的定论。论文是预印本,摘要中的“统一解释”仍需要其他团队在更多数据集、任务和模型规模上复现,也需要进一步厘清射线覆盖与现有鲁棒性指标之间的定量关系。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口