10月21日,浙江大学与复旦大学研究者在arXiv提交预印本TARSphere,提出面向长时程具身智能体的全栈框架,重点考察机器人在物理环境、社会互动和任务要求不断变化时能否持续执行与调整计划。原始论文:TARSphere:面向演化物理与社会环境的机器人全栈框架
论文将系统分为执行基础设施和智能体控制框架两部分。前者在物理仿真器中运行机器人、物体和具身化虚拟人物,并通过事件驱动的有限状态机记录动作完成、信息传递和任务状态变化;后者让冻结的多模态大模型调用分层技能,结合当前观测、层级记忆以及执行反馈进行重新决策。与只判断“动作指令是否发出”的测试不同,该框架还关注抓取是否成功、是否发生碰撞或跌倒,以及人的可用性、位置和回应是否改变了任务结果。
研究团队同时构建了TARSphere-Bench,包含30个室内场景和360个测试回合,任务主要是“导航并报告”与“取物并交付”。测试设置覆盖感知条件变化、临时阻塞或人员不可用、任务中途更新、与人协作以及理解他人意图五类能力。论文对8个多模态大模型进行评估,摘要称通用模型在部分任务上可以超过具身模型,但任务更新和人机互动仍较困难,且规划得分并不等于安全、有效的物理执行。
这项工作的价值主要在于把具身智能评测从静态目标和符号化动作,推进到“环境变化—人与机器人互动—实际执行反馈”共同影响结果的场景。它也提示,模型推理能力不能单独代表机器人系统能力,未来评测应同时报告任务成功、重规划、碰撞、跌倒和人机协作等指标。不过,该成果目前是arXiv预印本,测试主要基于仿真环境,不能直接等同于真实机器人部署效果;论文未证明其框架已在复杂现实场景中达到稳定泛化。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情