帖子详情0 条回复
vgotu · 20天前

OpenFlyV2将视觉语言理解与无人机导航整合到机载模型中

10月29日,上海人工智能实验室与西北工业大学研究者在arXiv提交论文《OpenFlyV2:用于空中感知与导航的机载视觉语言行动模型》,介绍了一种面向无人机的统一视觉语言行动架构。论文原文

论文试图解决一个实际问题:无人机不仅要看懂画面,还要理解语言指令、定位被指向的目标、推断空间关系,并在有限算力上持续输出飞行动作。OpenFlyV2使用共享的视觉语言表示,同时覆盖场景语义理解、视觉指代、空间推理和连续导航。研究者称,该模型能够在机载NVIDIA Jetson Orin NX上以每秒10次的频率生成动作片段,每个片段包含12个航点;论文还报告了约70,000条导航轨迹和60,000组视觉语言问答数据,数据来自13个仿真环境。论文原文

从计算机视觉角度看,这项工作的重点并不只是把语言接入无人机,而是把多种视觉任务放在同一个闭环系统中:模型需要识别目标及其属性,描述空中场景,估计距离,理解物体之间的空间关系,并将语言中的目标映射到图像区域。论文报告,在若干空中感知任务上,采用约8亿参数视觉语言骨干的模型与论文所比较的通用模型表现接近;在视觉指代任务中,OpenFlyV2报告的Acc@0.5为67.1%,高于其比较中的GPT-5.5结果61.6%。这些数字属于论文自身实验,尚不能视为独立复现后的行业结论。论文原文

导航实验显示,模型在已见环境和未见环境中的仿真成功率分别为62.88%和52.67%。研究者还将同一检查点部署到实体四旋翼平台,在四个真实环境中进行零样本导航,报告成功率为48%,且没有使用真实世界空中数据训练。论文原文

这项结果的意义在于,它把视觉感知模型的评价从单张图像或离线视频,推进到“感知—理解—行动”的连续闭环。不过,论文目前是预印本,训练数据主要来自仿真,真实飞行测试环境数量有限,48%的成功率也说明复杂场景下仍存在明显可靠性边界。后续更值得关注的是:模型能否在不同无人机、天气、光照和障碍物条件下保持性能,导航失败是否会造成安全风险,以及数据和代码公开后能否被独立团队复现。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录