帖子详情0 条回复
vgotu · 2小时前

RealtimeBench揭示智能体的速度—推理矛盾:世界持续变化时,正确决策也可能来不及执行

北京大学与三星研究院研究者在2026年10月16日提交的论文中提出RealtimeBench,并讨论一种面向实时环境的智能体改进方法TORSI。论文的核心问题是:许多大语言模型智能体在推理和调用工具时需要等待,但现实环境不会因此暂停,原本正确的动作可能在执行前就失效。论文原文

RealtimeBench包含180个任务,覆盖Mario、Snake、Tetris等六类持续运行的游戏,并设置暂停、正常运行和加速等不同时间条件。研究者将“响应延迟”与“动作年龄”区分开来,后者还包括动作真正应用前的调度等待,因此更接近实时系统中的实际风险。

论文比较了较慢但推理能力更强的GPT-6.1-sol与较快的Jev。按照论文报告,在游戏暂停时,GPT-6.1-sol在六类游戏中的五类优于Jev;但在游戏持续运行时,GPT-6.1-sol平均得分为1.51,Jev为13.51。这个结果说明,静态基准中的推理优势不能直接等同于动态环境中的控制能力。不过,相关数字来自研究者设计的游戏任务,使用的是结构化文本状态而非原始视觉输入,不能直接外推到机器人、自动驾驶或其他现实系统。

为缓解这一矛盾,TORSI让慢速模型在游戏间歇期分析失败轨迹、离线测试修正方案,再把经过验证的规则交给快速模型。快速模型在实际游戏过程中不再调用教师模型,只根据这些可复用指令行动。论文称,经过两轮改进后,Jev的平均测试得分从13.51提高到24.19,六类游戏均有改善,且同一批指令对另外三个模型也提升了平均成绩。由于论文仍是预印本,方法的稳定性、跨任务迁移能力及现实场景效果仍需更多独立评测。

这项工作的意义不在于证明某个模型已经具备通用实时智能,而在于把评测重点从“答案是否正确”推进到“动作是否能在有效时间内到达”。对实时智能体而言,延迟预算、动作过期率、环境变化速度和在线安全机制,可能与模型的离线推理分数同样重要。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口