美国加州大学河滨分校与亚马逊研究者在2026年10月14日提交的预印本中提出“Modality Self-Play”（MSP）训练框架，探索在不使用真实音频—视觉配对数据的情况下，让多模态大语言模型学习跨模态组合与推理。论文摘要
MSP的核心做法是先用单一真实模态作为“锚点”，再由模型生成对另一种未观测模态的文本代理描述。例如，模型接收图像后生成音频相关的描述，再通过文本到模态的映射桥，将这一代理信息转换为可供多模态模型使用的表示。训练阶段因此只需要模态—文本数据，而不要求同一训练样本同时包含真实的图像和音频。
论文称，这种方法可以在训练时未见真实非文本模态配对的情况下，实现零样本模态组合，并在多个多模态基准上取得具有竞争力或领先的结果。研究还通过消融实验分析了映射桥和代理描述的作用，认为二者有助于改善不同模态表示之间的对齐。
这项工作的价值主要在于回应多模态数据扩展中的成本问题：随着模型覆盖图像、音频、视频等更多模态，完整配对数据的采集和标注会快速变得昂贵且难以覆盖。用文本作为语义中介，可能降低部分数据组织门槛。但需要注意，MSP仍依赖模态—文本数据、预训练对比式编码器以及分布校准，文本代理也不等同于真实音频或视觉信号。因此，论文结果目前只能视为预印本提出的研究方案和实验结论，能否在复杂现实场景中替代真实跨模态监督，仍需更多数据集、任务和独立研究验证。
事件日期：论文提交日期为2026-10-14；本文整理日期为2026-10-19。研究结论及性能表现均以作者预印本摘要为准，尚未将其视为经过同行评审或大规模生产验证的定论。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
