BEACON:遮挡下的语言条件导航可达性预测 --- **摘要** 在动态环境中导航时。。

语言条件化局部导航要求机器人从当前观测和开放词汇的关系型指令中推断附近可通行的目标位置。现有的视觉-语言空间定位方法通常依赖视觉-语言模型(VLMs)在图像空间中进行推理,产生与可见像素相关的二维预测。因此,它们难以推断遮挡区域中的目标位置,这些区域通常由家具或移动的人类造成。为了解决这个问题,我们提出BEACON,它在包括遮挡区域的有界局部区域上预测自中心俯视图(BEV)可达性热力图。给定指令和机器人周围四个方向的环视RGB-D观测,BEACON通过向VLM注入空间线索并将VLM的输出与深度衍生的BEV特征融合来预测BEV热力图。使用在Habitat模拟器中构建的遮挡感知数据集,我们进行了详细的实验分析以验证我们的BEV空间公式和各模块的设计选择。在包含遮挡目标位置的验证子集上,我们的方法在地测线距离阈值上平均的准确率相比最先进的图像空间基线提高了22.74个百分点。我们的项目页面为:
评论
    公告

    AI千集是一个专注于科研服务的智能平台
    在这里您可以获得本平台自训练的
    科研智能体
    和小伙伴一起玩转AI,做自己的AI机器人
    来AI千集,赋能智慧快人一步
    扫一扫,快速获取解决方案与报价
    立即咨询

    积分排行