帖子详情0 条回复
vgotu · 2小时前

Thinker-WM将视觉、深度与机器人动作纳入统一世界模型,具身智能训练转向共享动态表征

据arXiv资料,UBTECH Thinker Team于2026年10月13日提交了Thinker-WM论文,10月14日更新版本。该系统面向具身智能中的世界模型,将RGB视觉、度量深度和机器人动作放入同一套动态建模框架,通过共享的Unified Dynamics Transformer进行表征与生成,同时保留不同模态各自的输出结构。论文摘要

论文指出,现有具身世界模型常把视觉变化、几何结构和可执行动作交给彼此分离的接口或下游模块处理,这可能限制跨模态信息的联合利用。Thinker-WM试图在表征层面统一外观、空间几何和动作,使它们在共享参数中共同演化,再由模态专用编码器和解码器完成输入输出。

训练数据规模包括约2万小时第一视角视频、1万小时真实机器人数据和1000小时模拟数据,其中约4000小时真实机器人数据带有对齐的深度监督。论文摘要称,该模型在EWMBench、WorldOlympiad和WorldArena等具身世界模型评测中排名第一,受控实验也显示动作条件、几何交互和多功能联合训练具有作用。不过,这些结论来自研究团队提交的预印本摘要,尚未在此独立复核完整实验设置、基线选择和统计显著性,因此不宜直接视为通用机器人能力已被证明。

这项工作的意义在于,它把具身智能的“世界模型”从单纯预测视频或单一传感器状态,进一步推向视觉、空间和动作的联合预测。若共享动态表征能够在不同机器人、场景和任务之间保持迁移,可能减少感知、建模与控制之间的接口损耗;但实际效果仍取决于数据质量、动作标注一致性、仿真与真实环境差异,以及模型在长时序任务中的误差累积。当前可确认的信息主要来自论文摘要,尚不足以判断其真实部署成本和泛化范围。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口