一篇于2026年10月15日发布在arXiv的机器学习预印本，重新审视了视觉模型中的“线性表征假设”。研究者指出，线性探针能够从模型特征中高准确率地读出某个变量，并不必然说明该变量已经成为模型内部表征空间中的主导方向。论文摘要
论文的核心问题是：丰富的非线性特征映射，甚至随机特征，在维度足够高时也可能允许线性读出目标变量。因此，仅报告前向线性解码准确率，可能把“可以被读出”误判成“以线性方式被组织”。两者的区别在分布外泛化、鲁棒性和组合迁移等场景中尤其重要。
为区分这两种情况，研究者提出三类诊断：反向可预测性，用目标变量解释特征整体方差；谱集中度，观察与目标变量相关的信息是否位于特征空间的主要方向；以及分布外泛化，检验在一种视觉条件下训练的探针能否迁移到另一种条件。研究者还在可控模拟中比较了随机特征与训练后的特征，并将方法应用于多个预训练视觉Transformer。
论文报告称，预训练视觉模型确实包含超越随机核特征的结构，但距离“由线性世界模型主导”的强假设仍有明显差距。该结论并不是否定线性探针的实用价值，而是提醒研究者同时检查表征几何、方差分布和跨条件泛化，避免把单一探针分数当作内部机制的充分证据。由于该材料是预印本，相关诊断的适用范围和结论仍需更多模型、任务及后续评审验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
