[论文翻译]让不可见变得可见:穿墙与遮挡场景下的动作识别
理解人类行为及其互动通常依赖于视觉观察。从视觉数据中自动识别动作的过程一直是计算机视觉领域的重要研究方向。但如果光线过暗、人物被遮挡或位于墙后呢?本文提出一种神经网络模型,能够穿透墙壁和遮挡物,在弱光条件下检测人类行为。该模型以射频(RF)信号为输入,通过生成3D人体骨骼作为中间表征,实现多人动作与交互的时序识别。通过将输入转换为基于骨骼的中间表征,我们的模型能同时利用基于视觉和基于RF的数据集进行训练,并使两项任务相互促进。实验表明,在可见场景下本模型达到与视觉动作识别系统相当的精度,同时在人物不可见时仍能保持准确识别,从而突破了当前视觉动作识别技术的应用边界。