帖子详情0 条回复
vgotu · 1小时前

Mosaic面向多会话智能体强化学习优化上下文压缩与子智能体分叉

导语:10月15日提交至arXiv的一篇预印本提出Mosaic,针对智能体在上下文压缩、子智能体分叉等场景下会跨多个会话执行、但训练仍常按单会话处理的问题,重新设计强化学习的奖励分配方式。论文原文

发生了什么:现有智能体强化学习通常把一条完整轨迹视为单一连续会话,并将最终结果产生的训练信号平均分配给相关步骤。当任务被拆成多个会话后,这种做法难以判断每个会话的实际贡献,也无法有效指导智能体决定是否继续启动新的会话。论文将这一问题概括为“多会话智能体强化学习”,允许一条任务轨迹包含任意数量的会话。

核心机制:Mosaic采用无评论家的分层优化。轨迹层面把会话使用情况纳入优势估计,避免只依据最终成败进行粗粒度奖励;会话层面则根据估计的边际贡献调整每个会话的优势值,使训练信号更接近“哪个会话带来了有效进展”。这种设计的目标不是单纯增加会话数量,而是把计算资源分配给更有价值的执行过程。

实验信号:研究团队使用BrowseComp进行测试,该基准包含1266个需要持续浏览网页、寻找隐含关联信息的问题,并以Qwen3.5-4B作为基础模型。在上下文压缩设置中,Mosaic准确率为38.86%,高于将轨迹奖励广播到各会话的基线35.31%,平均会话数则从3.17降至2.35;在子智能体分叉设置中,准确率为32.46%,基线为31.44%,平均会话数从4.43降至3.77。论文称,前一设置相对准确率提升约10.1%,但这些结果来自单一基准和特定基础模型,不能直接外推为所有智能体任务的普遍性能提升。

行业意义与限制:这项工作把长程智能体的效率问题从“如何堆叠更多会话”转向“如何衡量每次会话带来的有效进展”,对上下文压缩、并行子任务和长期工具调用具有方法论参考价值。不过,该成果目前是预印本,实验主要围绕BrowseComp展开,尚不能证明Mosaic在企业流程、代码开发或现实世界交互中同样有效。后续还需要更多任务、模型规模和真实工具环境的交叉验证。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口