清华大学与上海人工智能实验室团队在2026年10月提交并更新了一项名为MMTA的多模态时间序列分析基准。该项目将时间序列、文本和视觉信息放在同一评测框架中，试图检验多模态大语言模型能否把动态信号与真实场景证据结合起来，而不是只处理图像和文字。相关论文页面显示，MMTA的最新版本日期为10月14日，当前仍属于预印本，结论尚未经过同行评审。论文原文
从覆盖范围看，MMTA包含机器人、自动驾驶、人类动作、制造、增强现实辅助、医疗、推荐、金融和气候等九个领域，设置“视频+时间序列”和“图像+时间序列”两类任务布局。测试集共有3524个样本，其中2924个用于分类、600个用于预测。团队还记录了数据来源、许可证和提示词模板，试图让不同领域的数据在统一格式下进行比较。
论文的核心观察是，直接把时间序列转写成文本，会形成很长的标记序列，并削弱时间信号与视觉证据之间的细粒度对齐；当视频较长时，这一问题更明显。换言之，模型即使能分别理解画面和数值，也不代表它能准确判断二者在同一时间段内的关系。这个发现提醒开发者，增加输入模态并不等于自动获得更强的跨模态推理能力，时间编码、同步机制和上下文预算仍可能成为瓶颈。
团队同时提出TimeOmni-v作为针对性模型扩展，引入专用时间序列编码器、时间位置对齐、模态感知的标记布局和预测头。论文报告称，在MMTA上，该模型的平均加权分类F1为0.601，高于对比模型Gemini-3-flash的0.442，并在部分长视频分类任务上取得更高成绩；但其平均预测误差指标为90.8，并非所有预测任务都领先。因此，这些结果更适合被理解为初步实验，而不是证明该方案在所有多模态任务上占优。
这项工作的价值主要在于把多模态评测从“图像加文字”推进到包含连续动态信号的真实任务。对产业应用而言，工业设备监测、自动驾驶、医疗影像和金融分析等场景往往同时存在视频、传感器曲线和背景文本，模型能否正确对齐这些证据，可能比单一模态的识别分数更重要。后续需要关注基准数据的代表性、各领域样本之间的难度差异，以及论文报告的改进能否在独立数据和真实部署环境中复现。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
