[论文翻译]TALKNCE：通过对话感知对比学习改进主动说话人检测

本工作的目标是主动说话人检测 (Active Speaker Detection, ASD)，即判断一系列视频帧中的人物是否正在说话。以往研究主要通过探索网络架构来处理该任务，而对学习有效表征的探索较少。本文提出TalkNCE——一种新颖的说话感知对比损失函数。该损失仅作用于屏幕上人物实际说话的部分片段，通过语音与面部动作的自然对应关系，促使模型学习有效表征。我们的损失函数可与现有ASD模型训练目标联合优化，无需额外监督或训练数据。实验表明，该损失能轻松集成到现有ASD框架中并提升其性能。我们的方法在AVA-ActiveSpeaker和ASW数据集上达到了最先进水平。