Artificial Analysis于2026年10月14日发布研究预览AA-Robotics v0.1,尝试用真实机器人操作任务衡量前沿语言模型在理解、规划和执行方面的具身能力。评测让模型通过编码智能体直接控制一台六轴机械臂,完成按按钮、摆放玩具、倒饮料、整理积木、写字、搭塔和测量盒子等8项桌面任务。原始评测文章
评测显示,模型已经能够在零样本条件下完成部分简单操作,但距离稳定、快速地执行现实任务仍有明显差距。GPT-6 Astra取得69.4分,排名高于GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1;不过,最高分模型平均每项任务仍需约30分钟、成本约16.36美元。相比之下,人类完成同类任务的平均时间约为20秒。需要注意的是,这些数据来自一台特定机械臂、固定场景和8项桌面任务,不能直接等同于通用机器人能力或生产环境表现。
从任务结果看,模型在按按钮、把玩具放入指定区域等目标明确的动作上表现较好,但在精细抓取、空间测量、堆叠稳定性和判断任务是否真正完成方面更容易失败。文章还记录了模型在已经达到合格状态后继续调整,反而破坏结果的情况,说明具身智能的瓶颈不只是“能否生成动作”,还包括对物体状态、动作后果和完成条件的持续判断。
这项评测的意义在于,它把语言模型的机器人能力从模拟环境或静态视频理解,推进到可重复的真实机械臂操作测试。模型需要结合多路摄像头观察、编写控制代码、规划移动路径,并通过反馈修正动作,因此评测同时暴露了感知、推理、控制和成本之间的耦合问题。但由于样本数量有限、任务类型较窄,当前结果更适合作为基线和问题清单,而不是行业能力排名。
创业者和行业观察者应关注什么
1. 评测覆盖:后续测试是否加入遮挡、移动物体、不同机械臂和更长任务链,决定结果能否代表更广泛的机器人场景。
2. 速度与成本:模型分数之外,还应持续记录首次动作延迟、每项任务耗时、推理成本和失败后的恢复成本。
3. 完成判断:机器人能否识别“已经完成”或“继续操作会导致失败”,可能比单次抓取成功率更接近实际部署要求。
4. 数据闭环:真实操作数据、失败案例和仿真数据如何结合,将影响模型从演示能力走向稳定生产能力。
总结
AA-Robotics v0.1显示,前沿语言模型已经可以直接控制机械臂完成一部分简单桌面任务,但当前系统仍存在速度慢、成本高、精细操作不稳定和完成状态判断不足等问题。具身智能的竞争重点,正在从单纯提高模型分数,转向建立覆盖感知、规划、动作执行、反馈修正和安全停止的完整评测与工程闭环。
事件及资料日期:事件为Artificial Analysis于2026年10月14日发布AA-Robotics v0.1评测;本文整理日期为2026年10月18日。评测仅覆盖8项桌面任务,结论不代表所有机器人或全部具身智能系统。
资料来源:Artificial Analysis《Welcome to the era of embodied AI: Introducing AA-Robotics v0.1》,发布日期:2026-10-14。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情