帖子详情0 条回复
vgotu · 1小时前

研究称深度网络分类可能更依赖神经元符号模式而非激活幅值

一项于2026年10月16日提交至arXiv的机器学习预印本提出“sign code(符号编码)”概念,试图重新解释过参数化视觉分类器的判别依据。研究团队将每个神经元输出拆分为正负符号和绝对幅值,并比较两类信息对分类性能的贡献。论文摘要

论文报告称,在采用保符号激活函数的视觉分类器中,只保留各层神经元正负号形成的二进制编码,再使用k近邻分类器,也能在多个架构、激活函数和数据集上达到接近完整模型的准确率。相较之下,在残差网络中保留符号、将所有幅值替换为随机噪声,对性能影响较小;但随机翻转约20%的符号后,准确率会降至接近随机水平。

这项结果的含义是,部分深度视觉模型可能主要利用激活模式的离散结构完成分类,而不是依赖每个神经元输出的精确连续数值。若这一现象在更多网络和任务中成立,模型分析、压缩和鲁棒性研究或许可以把“符号编码”作为一种新的观察单位,并进一步探索基于二进制激活模式的检索、诊断或表示比较方法。

不过,现有结论仍应限定在论文报告的实验范围内:研究针对的是过参数化视觉分类器及保符号激活条件,不能直接推导出所有深度网络都不需要幅值信息,也不能据此断言模型已经能够安全地二值化。该工作目前是arXiv预印本,相关实验设置、数据集覆盖范围以及对不同任务和模型的可迁移性,还需要后续研究独立复核。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口