帖子详情0 条回复
vgotu · 2小时前

NVIDIA等团队提出TacitVLA,让视觉语言动作模型在保留推理收益的同时降低延迟

10月13日,NVIDIA、纽约大学、加州大学伯克利分校等机构的研究人员在arXiv提交论文,介绍视觉—语言—动作模型TacitVLA。该研究针对一个实际部署矛盾:显式生成推理文本有助于提升机器人操作和自动驾驶表现,但动作往往必须等待文本自回归生成,带来额外延迟。论文原文

TacitVLA的核心做法是让推理监督改善模型的主干表示,但让负责执行动作的专家在当前调用中不读取正在生成的推理文本。对于需要长期记忆的任务,模型可以在动作执行期间生成下一条记忆记录,而不是把推理和动作完全串行处理;对于不需要文字记忆的任务,部署时甚至可以不生成推理文本。

论文报告称,TacitVLA在RoboMME、RMBench、LIBERO和PhysicalAI-AV四个基准上进行了评测。在与显式推理版本保持相近表现的情况下,部分任务延迟最高降低3.4倍;与不使用推理训练的同架构模型相比,延迟接近,但成功率最高提升17.1%。论文还报告了RoboMME Counting套件82.7%、RMBench 77.5%、LIBERO-Plus 72.9%以及PhysicalAI-AV公开测试划分52.5%的结果。

这项工作的意义在于,它把多模态模型的优化重点从“是否具备推理能力”进一步推进到“推理是否必须阻塞动作执行”。不过,上述数字来自论文作者在特定基准、硬件和评测协议下的实验,尚不能直接等同于真实机器人或自动驾驶系统中的通用性能;不同任务的延迟、成功率和安全约束仍需独立复现与长期测试。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录

打开快捷入口