一篇于2026年10月14日更新的机器学习论文提出:攻击者可以利用“数字锁”把一个神经网络作为加密电路嵌入宿主模型权重,只有输入秘密触发条件时才解密并执行隐藏能力。论文原文
研究者在PyTorch中实现了概念验证,并通过微调、权重加噪、基于梯度的触发器搜索和潜在对抗训练等方法测试能力是否能够被审计人员主动诱导出来。论文称,在其设定的密码学假设下,即使审计者拥有完整模型权重,也很难恢复触发器或判断隐藏的是哪一种等规模能力。论文摘要
不过,这项工作目前不能直接等同于现实中的大规模攻击。作者隐藏的只是一个小型化学反应可行性分类器,模型存在明显额外开销,密码电路本身也可能暴露异常特征;论文明确表示,该概念验证还不是可直接部署的攻击工具。更准确的解读是:如果模型供应链遭到恶意篡改,仅依赖常规能力评测、微调或黑盒测试,可能无法证明模型不存在隐藏能力。
这项研究把模型安全问题从“模型会不会表现出危险行为”进一步延伸到“模型权重是否包含难以触发和识别的恶意计算”。对高风险场景而言,模型来源追踪、权重完整性验证、可复现构建、结构异常检测和部署后行为监测,可能需要与能力评测同时进行。论文结论建立在特定威胁模型和密码学假设上,实验规模也有限,不能据此推断当前主流模型已经普遍存在此类后门。
参考来源:
- AI Models Can Provably Hide Arbitrary Capabilities(arXiv论文页面) 2026-10-09
- AI Models Can Provably Hide Arbitrary Capabilities(arXiv论文v2) 2026-10-14
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情