《International Journal of Computer Vision》于2026年10月25日发表论文《VLScene++:通过视觉语言模型差异感知语义蒸馏与稀疏—稠密混合感知增强三维语义场景补全》。论文作者包括Meng Wang、Yujie Xue、Jijiang Liu、Ruihui Li、Zhuo Tang和Kenli Li等。期刊原文摘要
论文关注相机式三维语义场景补全。该任务需要根据有限的二维相机观测,推断场景中被遮挡区域的三维几何结构及语义类别,但单目或多视角图像存在遮挡、透视歧义和深度信息不足等问题。作者认为,视觉语言模型能够提供较丰富的高层语义知识,但其密集、以图像为中心的语义表示,与受三维几何约束的稀疏—稠密体素表示并不天然一致,直接融合可能导致弱观测区域出现语义错配。论文摘要
VLScene++的核心思路是将视觉语言模型信息以更符合三维几何约束的方式注入场景补全流程。其“视觉语言模型差异感知语义蒸馏”模块利用高层语义线索增强图像特征,同时尽量保留与几何相关的语义结构;“稀疏—稠密混合感知”模块则采用双流设计,一路在稀疏三维空间传播较可靠的结构信息,另一路捕捉更大范围的稠密语义上下文,最后通过稀疏引导的门控融合动态整合两类表示。
从应用角度看,这一方向与自动驾驶、机器人导航和三维环境理解有关。它反映出当前视觉研究的一个趋势:视觉语言模型不只是用于图像问答或开放词汇识别,也开始被用作三维感知系统的语义先验。不过,论文摘要只说明该方法在SemanticKITTI、SSCBench-KITTI-360和nuScenes-Occupancy等数据集上,在几何补全和语义预测方面取得了具有竞争力的结果,并未在可核实摘要中给出完整的指标表、部署成本或真实道路测试结论。因此,现阶段更适合将其视为一种面向研究数据集的融合框架,不能直接等同于已经完成工程化验证的自动驾驶方案。
参考来源:
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情