arXiv于2026年10月14日收录论文《Lluna: Collaborative Unimodal Models for Missing-Modality Inference》。研究关注多模态任务中的“输入缺失”：当图像、文本、音频等部分模态不可用时，原本用于协作的单模态模型可能反而不如仍然拥有完整输入的单一模型，且缺失模态越多，协作收益可能减弱甚至逆转。论文摘要
论文提出Lluna，将模型分成两条路径：一条从适配后的单模态特征直接进行私有预测，另一条通过基于图的协作分支聚合信息，并把协作结果作为残差修正。研究还提出“渐进式协作一致性”，按照从信息更丰富到信息更缺失的顺序组织指导信号，使共享表示保持一致，同时根据实际可用证据调整任务预测。
作者在情感计算、场景理解和医学预测等八个数据集上进行评估。摘要称，在非完整输入状态下，Lluna取得了所评测方法中的最佳平均表现，相对最强基线的Mean-Missing指标平均提升4.26%；在仅保留极少模态输入的条件下，固定锚定模型的协作平均表现也在八项任务中均获得正向增益。该结果说明，多模态系统在面对缺失输入时，未必需要依赖一个统一融合模型，保留单模态模型的独立判断，再以受控协作进行补偿，可能更稳健。
需要注意的是，这是一篇预印本，4.26%为论文作者基于八项任务给出的实验结果，并不等同于所有多模态应用场景都能获得相同提升。实际效果仍可能受到缺失模态类型、数据集规模和任务领域的影响。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
