据清华大学新闻网11月19日报道,在第34届ACM国际多媒体大会(ACM Multimedia 2026)上,清华大学计算机系教授贾珈团队的论文《从视觉到交互:面向视觉语言模型智能体的动态社会智能评测环境 ALIVE-World》获得杰出论文奖来源1。本届会议于11月10日至14日在巴西里约热内卢举行,论文第一作者为计算机系博士生许玥,博士后秦霄羽为通讯作者。据校方统计,本届会议杰出论文奖入选率仅为录用论文的4.4%,竞争相当激烈来源1。
这项工作针对的,是当前多模态大模型与具身智能走向真实社会场景时的一个核心难题:智能体在智能服务、人机协作等应用中,需要处理多模态信息交织、多方行为并发、情感与认知状态持续演变的复杂社会互动,而现有评测手段难以系统刻画这类能力来源1。
具体而言,团队提出了多模态拟人社会交互仿真环境ALIVE-World,将视觉感知、语言交流与具身行为统一在动态三维空间中,支持多个智能体之间连续并发的社会互动。在此基础上,研究引入人类社会交互中的情感、认知与个体差异因素,并借鉴认知心理学中的双系统理论,让虚拟角色能够动态调整内部状态,从而形成具有拟人特征的社会交互反馈来源1。
团队还配套提出了评测基准ALIVE-Bench,从社会感知、心理理解、人际影响与任务成效四个层面,系统刻画智能体的动态社会交互能力来源1。按照清华官网的介绍,该研究探索了融合多模态感知、具身行为与人类社会认知机制的智能交互环境构建范式,可为理解AI社会行为、发现交互能力缺陷、优化智能体决策机制提供平台,也为构建能理解人类、适应社会情境并与人自然协作的智能体奠定技术基础来源1。
值得注意的是,ACM国际多媒体大会是多媒体与多模态智能领域影响力较大的国际学术会议之一,杰出论文奖通常被视为对工作原创性与完整性的高度认可来源1。
从更广的多模态研究趋势看,这条新闻折射出该领域近期的两条主线。其一是评测范式的转变:正如ALIVE-World所体现的,研究者正把重点从静态的图文理解,转向动态、多智能体、含社会认知要素的交互评测来源1。其二是模型架构层面也在跟进这类需求,例如有第三方技术博客报道,Ant于2026年11月发布的Ling 3.2 Flash定位为原生多模态模型,总参数560B、每token激活25B,支持100万token上下文与文本、图像、视频输入,宣称专注复杂视觉理解、多模态长时程智能体、3D理解与交互以及医疗多模态等方向来源2。需要说明的是,该报道同时指出,截至11月14日,独立评测机构尚未给出Ling 3.2 Flash的评分,相关能力仍以官方描述和演示为准来源2。
此外,社区层面也在探讨多模态交互的工程化路径。有作者在技术博客中反思,过去把多模态窄化为图文对齐的做法,难以应对现代单页网页应用中的动态渲染问题,并提出应打通视觉感知、结构理解、动作规划、执行反馈的闭环,例如直接解析浏览器渲染进程导出的序列化DOM树而非处理像素截图。这类观点属于个人实践分享,其复现数据(如按钮定位准确率从92.3%降至67.1%)未经独立验证,仅供参考来源3。
总体来看,清华团队此次获奖反映了多模态研究从看图识图向动态社会交互评测的深入,也与国际上模型侧的多模态能力扩展形成呼应。ALIVE-World与ALIVE-Bench的实际使用效果,还有待后续学术社区在评测中的检验。
参考来源:
- 多模态网页交互模型:DOM理解与可执行代码编辑 - CSDN 2026-11-17
- Ling 3.2 Flash:560B 多模态,30 秒视频上限 2026-11-14
- 计算机系贾珈团队成果获ACM国际多媒体大会2026杰出论文奖-清华大学 2026-11-19
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情