10月15日，上海交通大学、上海创新研究院及Noematrix的研究者在一篇arXiv预印本中提出“Value as Memory”（VaM）框架，针对通用机器人策略在部分可观测环境下动作选择不明确，以及离线训练难以及时利用真实部署反馈的问题，引入价值缓存和在线真实世界强化学习。论文原文
VaM将近期的价值预测作为任务进度记忆，与视觉和本体感知历史共同输入策略，使机器人能够区分任务进度正在改善、停滞或下降的状态。训练流程则结合离线示范、离策略干预数据和当前在线轨迹，从离线强化学习预热逐步过渡到带稀疏奖励的自主学习。
论文摘要报告，在涉及可变形物体和接触密集操作的长时程任务中，加入价值缓存后，平均成功率获得29.4%的增益；在匹配训练条件下，在线自主学习相较离线训练获得32.8%的增益。作者还报告称，在相同梯度步预算下，在线方案完成的策略迭代次数约为8倍，每个梯度步的记录用时降低超过2倍。
这些数字是作者基于其测试设置给出的结果，并不等同于所有机器人或实际生产环境中的普遍提升。该工作目前是预印本，摘要未说明其已完成同行评审；作者也指出，方法依赖质量足够高的价值函数，目前真实世界强化学习实验限于单台机器人，能否扩展到多机器人共享经验仍待验证。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
