10月21日，研究团队在arXiv提交论文《AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation》，提出一种面向长时程机器人操作的视觉—语言—动作（VLA）模型强化学习后训练框架。论文原文
论文认为，传统方法往往依据整条轨迹的稀疏奖励进行学习，容易出现反馈延迟、信用分配偏差，以及某个薄弱子任务拖累整条任务链的问题。AtomicRL把长任务拆分为有序的“原子子任务”，并设计语义感知策略优化（SAPO），限制失败子任务产生的学习信号跨越任务边界传播；同时通过瓶颈自适应目标探索（BATE），把采样和探索资源更多投入掌握不足的子任务。作者还构建了Real2Sim2Real流程，尝试在仿真环境中进行强化学习，再迁移到实体机器人。
根据论文报告，在LIBERO-LONG基准上，AtomicRL相较PPO在两种VLA架构下分别提升3.6和4.0个百分点；在CALVIN ABC-D上，完成完整五子任务链的表现较PPO提升9.5个百分点。在使用AgiBot G1开展的三项真实机器人长时程桌面操作任务中，论文报告其平均成功率较监督微调基线提高21.3%，较PPO提高8.0%。这些结果来自论文作者设定的基准、任务和实验条件，不应直接外推为所有机器人或真实场景中的普遍性能。
该工作的主要观察是：对于需要连续完成多个动作的具身任务，强化学习效果不仅取决于模型规模或奖励函数总量，也取决于能否识别子任务边界、定位失败环节并减少跨阶段的错误归因。不过，当前实验主要集中在长时程桌面操作，并以监督微调策略作为强化学习起点；论文也指出，开放动态环境中的泛化能力、真实机器人交互成本和在线训练效率仍需进一步验证。该论文目前是arXiv预印本，尚不能等同于经过同行评审的正式期刊或会议结论。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
