一项发表于2026年10月14日的预印本提出Shared Sentiment Evidence(SSE)方法,尝试利用冻结多模态模型的输出结果完成连续情感预测,而不更新底层模型参数。研究者指出,语言、音频和视频信号对情感的判断可能并不一致,仅保留最终分类结果会丢失不同模态之间的证据差异。论文原文
方法上,SSE分别对文本、音频、视频以及联合输入进行查询,将五档情感选项的概率分布、分布熵和跨视角差异组成一个28维特征,再交由CatBoost回归器预测连续情感分数。这样做的重点不是重新训练一个更大的多模态模型,而是把模型已有的多视角输出转化为可复用的下游接口。研究使用Qwen2.5-Omni-7B作为主要骨干,并在CH-SIMS-v2和CMU-MOSI两个多模态情感数据集上进行测试。
论文报告称,在CH-SIMS-v2上,SSE的平均绝对误差为0.2483,相关系数为0.8157;在CMU-MOSI上,平均绝对误差为0.5660,相关系数为0.8866。与只使用联合视角概率的对照方法相比,多视角证据和轻量级非线性读出带来了更低误差。作者还将同一接口规范应用到Gemma、Phi和Nemotron等其他多模态骨干,结果显示点估计在两个数据集上均有改善,但部分差异的统计区间仍包含零,说明跨模型复用效果并非在所有场景下都已得到充分验证。
这项工作的意义在于,它把多模态模型的适配问题从“修改内部表示”转向“利用输出空间的结构化证据”。如果模型推理结果可以缓存,后续任务只需训练较小的读出层,就可能降低反复微调和重复推理的成本。不过,研究仍属于预印本,结论主要来自两个情感数据集和受控实验;概率分布代表模型对候选选项的相对支持,并不等同于经过校准的置信度。其对开放场景、跨文化情感表达和实时应用的有效性,仍需更多数据与独立实验检验。
事件及资料日期:事件为研究团队提交Shared Sentiment Evidence连续多模态情感预测预印本;原文发布日期为2026-10-14。上述结果和限制均依据论文摘要及正文所载实验信息整理。
资料来源:论文《Shared Sentiment Evidence from Frozen Multimodal Models for Continuous Sentiment Prediction》,发布日期:2026-10-14。
参考来源:
- Shared Sentiment Evidence from Frozen Multimodal Models for Continuous Sentiment Prediction 2026-10-14
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情