[论文翻译]迈向可泛化的视觉-语言机器人操作：基准与大语言模型引导的3D策略

摘要— 将语言条件化的机器人策略泛化到新任务仍是一个重大挑战，这主要受限于缺乏合适的仿真基准测试。本文通过推出GemBench这一评估视觉-语言机器人操作策略泛化能力的新型基准测试填补了这一空白。GemBench包含七种基础动作原语和四个泛化层级，涵盖新物体摆放、刚体和铰接物体操作以及复杂长周期任务。我们在GemBench上评估了前沿方法，并提出了一种新方法。我们的3D-LOTUS方法利用丰富的三维信息进行语言条件化的动作预测。虽然3D-LOTUS在已知任务上表现出优异的效率和性能，但其在新任务上仍有不足。