2026年11月10日,Google DeepMind与Artificial Analysis联合推出多模态知识智能体基准(MKA),用于评估智能体处理复杂视觉文件和多步骤知识工作的能力。该基准面向建筑图纸、工程示意图、表格、报告和演示文稿等不能只靠文本完成的任务,相关信息来自Google官方介绍。Google官方公告
MKA的评测集由10个行业、83类职业的领域专家参与设计,共包含200项任务。每项任务都模拟一项通常需要专业人员耗时3至8小时完成的工作,并配套约70个专家编写的判断标准,评分权重为事实准确性75%、视觉设计25%。这表明评测重点不只是识别图片或读取文字,而是要求模型综合理解多个文件、执行多步推理,并交付可直接使用的报告、表格或演示材料。
在执行方式上,Artificial Analysis让不同模型使用相同的开源智能体框架、工具、沙盒和轮次上限,以减少运行环境差异。自动评审器会打开文件、渲染页面、检查表格公式,并按照专家标准评分。Google称,领域专家对自动评审结果的认可度为96%,但这一数字属于项目方披露,尚未看到独立第三方复核。完整的200项测试集保持私有,以降低测试题泄露和训练数据污染风险;另有10项公开任务放在Hugging Face,供外部使用者查看格式和试测模型。
Google还称,参与测试的前沿模型平均完成单项任务需要约30至130轮交互,显示多模态智能体的成本和效率差异可能远大于单次问答模型。项目方特别强调,较强的视觉感知能力是完成任务的必要条件;当视觉能力被移除时,模型往往会尝试通过更多操作弥补,但仍可能失败。该结论来自MKA技术报告和项目自身实验,不能直接等同于所有企业场景的普遍表现。
这项发布的意义在于,行业评测开始从“模型能否看懂一张图”转向“智能体能否在真实文件环境中完成一项完整工作”。不过,MKA仍主要反映项目方选定的行业、任务和评分标准,公开任务数量也较少。企业在参考排名时,还应关注自有文件格式、数据保密要求、人工复核成本、工具调用次数和错误后果,而不能只比较一个总分。
事件日期:2026年11月10日;报道及发布页面日期:2026年11月10日。基准的任务设计、评分方法和实验结论主要来自Google及其合作方的自述,独立复核范围有限。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情