10月27日，研究团队在arXiv提交论文《Vision-Language Agents Can Learn in Their Own Latent Worlds》，提出名为Dwell的模型化强化学习框架，尝试让视觉语言模型利用真实交互持续改进策略。论文摘要称，现有视觉语言模型虽然拥有较丰富的世界知识，但这些知识通常没有被有效用于在线学习；如果直接持续更新大型预训练模型，又会面临计算成本高和交互分布变化等问题。论文原始摘要
Dwell的核心做法，是把视觉语言模型重新理解为一种循环的潜空间状态转移算子。智能体不必在像素层面重建完整未来，而是利用模型自身的表示，在潜空间中预测行动后果、评估可能结果，再结合真实交互和“想象”轨迹改进行为。换言之，模型同时承担世界模型和策略的角色，重点预测对行动有用的未来，而不是追求对未来场景的逐帧复原。
根据论文摘要，作者在五个交互式视觉环境中进行了评估，并报告Dwell在可训练方法中取得了总体最强表现，同时显著减少了用于潜在想象的计算量。不过，这些结论目前来自一篇于10月27日提交的预印本，尚未等同于经过同行评审的最终结果；摘要也没有给出各环境的具体分数、硬件配置或与所有基线的完整比较，因此不宜直接把它解读为视觉语言智能体已经具备稳定的现实世界持续学习能力。
这项工作的价值在于，它把多模态模型的能力提升路径从“继续扩大训练或重建更细致的世界”转向“让现有表示服务于行动决策”。如果潜空间预测确实能在保持能力的同时降低想象成本，未来可能有助于降低机器人、交互式模拟和视觉操作智能体的训练门槛。但其实际适用范围仍取决于潜表示是否足以保留任务所需的细节，以及模型在环境变化、长时程任务和安全约束下能否避免错误累积。当前可核实的新信息主要是框架提出和论文摘要披露的实验结论，代码链接虽已在论文页面公开，但本文未进一步复现实验。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
