研究者在arXiv更新论文《Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion》的第二版，提出SeMARC框架，核心思路是在运行时根据已经获取的证据，决定下一步是否继续处理某种模态，或直接停止，而不是默认对所有可用的音频、视频、文本、惯性信号等输入全部编码。论文称，该框架由顺序模态聚合器SeMA和自适应运行时控制器ARC组成：SeMA复用已经完成的融合状态，ARC根据边际效用和残差强化学习选择下一种模态，从而避免为最终未被使用的输入付出编码与融合成本。论文摘要
根据作者在六个多模态分类数据集、十一个基线方法上的实验，SeMARC相对每个数据集中准确率最高的基线，平均宏F1提高3.2%，总推理GFLOPs降低61.4%；在GPU和CPU上的端到端延迟平均下降44.0%，Android INT8环境下降47.2%。在测试阶段存在模态缺失的24种条件中，SeMARC有21种条件达到或超过最佳基线的宏F1，同时平均减少14.8%的总GFLOPs。论文摘要
这项工作的价值不在于增加新的输入类型，而在于把“是否值得处理某个模态”放到推理过程内部。对于移动设备、机器人和实时感知系统，这种机制可能减少能耗、延迟和不必要的数据处理；但目前结果仍来自作者自建的六个数据集和实验基线，且论文是arXiv预印本，尚不能据此断言在所有多模态任务或真实生产环境中都能获得同等收益。值得继续关注的指标包括不同模态组合下的准确率波动、控制器在噪声输入和模态缺失时的稳定性，以及节省的计算量是否会被控制决策和额外训练成本抵消。
事件及资料日期：论文首次提交日期为2026年10月5日，arXiv页面标注第二版更新于2026年10月12日；本文将10月12日作为近期信息日期。该研究尚未完成同行评审，实验结论主要依据作者报告。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
