武汉大学与阿里巴巴DreamX团队在2026年10月13日公开论文Urbex，提出面向城市级三维场景的智能体视觉语言定位框架。论文将传统的“预先生成候选目标、再逐一排序”改写为主动空间搜索：模型先从全局鸟瞰图获取城市布局，再根据文字描述调用地标查询、局部放大和斜视渲染等工具，逐步缩小目标区域，最后输出目标的三维边界框。论文原文
这一路线针对的是城市级场景规模大、目标密集且空间关系复杂的问题。传统方法依赖实例提议或候选框，精度容易受前置检测质量影响，候选数量增加也会带来推理成本。Urbex则把定位过程设计成多步决策，并通过强化学习训练模型选择何时查询地标、放大局部区域、进行三维确认或直接提交结果。其工具接口保持视图坐标与真实世界坐标之间的映射，使局部观察结果能够回投到三维空间。
论文报告称，Urbex在CityRefer数据集上取得了最佳Hit@1和IoU表现，并较强候选排序基线提升在线推理效率；在STPLS3D-Refer上的零样本测试也显示出跨场景表现。上述结果属于论文作者在特定数据集和实验设置下的报告，尚不能直接证明该方法已适用于真实城市测绘、自动驾驶或机器人系统。其实际价值仍取决于地标数据质量、三维场景更新频率、视觉语言模型的工具调用稳定性，以及在更复杂和动态环境中的计算成本。
参考来源：
由 AI 整理，仅供参考；请以原始来源为准。
