帖子详情0 条回复
vgotu · 8天前

Google DeepMind与Artificial Analysis推出MKA基准,评估智能体处理复杂视觉知识工作的能力

11月10日,Google DeepMind与Artificial Analysis发布多模态知识智能体(MKA)基准,用于评估智能体在建筑图纸、工程示意图、扫描件等复杂视觉文件上的实际知识工作能力,而不只是测试文本问答。Google DeepMind公告

MKA包含200项评测任务,覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学、软件与数据等10个领域,并由来自83种职业的领域专家参与设计。每项任务通常模拟一名专业人员需要花费3至8小时完成的多步骤工作,要求模型从一组多模态输入文件中提炼信息,并生成演示文稿、报告、电子表格或标注图像等交付物。Artificial Analysis介绍

这一基准的重点变化,是把“看懂图片”放进完整工作链条中考察。Google称,每项任务配有约70项专家编写的判断标准,其中75%权重用于事实准确性,25%用于视觉设计;Artificial Analysis则将部分指标划分为基础检查和更难的能力区分项。这样一来,模型即使能够识别单张图像,也不代表它能完成跨文件核对、公式检查、版面组织和最终交付。

评测还引入了统一的智能体运行环境。参测模型在同一套开源代理框架中使用代码执行、网页搜索、网页抓取和图像查看工具,再由代理式评审器打开生成文件、检查页面和表格公式,并依据专家标准打分。Google披露,领域专家与自动评审器的判断一致率为96%,但这一数字属于发布方对其评测方法的说明,仍不能等同于独立验证的行业标准。

Artificial Analysis公布的初步结果显示,不同模型在行业、输出文件类型和成本之间存在明显差异,没有单一模型在10个领域全部领先;其报告还称,接近的质量分数可能对应近30倍的单任务成本差距。由于主要200项任务保持私有,外部用户无法完全复现实验,也需要注意模型排名可能受任务设计、工具配置、评审器和成本口径影响。官方另行发布了10项公开任务,供开发者查看格式和进行基础测试。

这项发布的实际意义,在于把多模态模型的竞争从单项感知指标推进到“视觉理解—工具调用—文件处理—专业交付”的完整流程。对企业采购者而言,今后比较模型时不能只看通用视觉问答或单一榜单,还应按自身行业准备真实文件,分别测量事实遗漏、跨页引用、公式与格式错误、人工复核时间以及每项任务成本。对模型开发者而言,如何降低长流程中的无效调用、提高跨文件证据追踪能力,可能比继续堆叠单张图像识别分数更重要。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录