分布式部分信息谜题：在认识不对称性下研究共同基础的构建

建立共同基础，即一套共同的信念和相互认可的事实，对于协作至关重要，但对于当前的人工智能系统仍然是一个挑战，特别是在多模态、多方协作的场景中，协作者们掌握着不同的信息。我们引入了分布式部分信息谜题（DPIP），这是一个协作构建任务，在认知不对称的条件下引发了丰富的多模态交流。我们呈现了这些交互的多模态数据集，在语音、手势和动作模态上进行了标注和时间对齐，以支持对命题内容和信念动态的推理。随后，我们评估了两种常见基础建模范式：（1）最先进的大语言模型（LLMs），通过提示从多模态更新中推断共享信念，以及（2）一个基于动态认识逻辑（DEL）的公理化管道，可以增量地执行相同的任务。在标注的DPIP数据上的结果表明，该任务对现代LLMs追踪任务进展和信念状态的能力构成了挑战。