[论文翻译]多流关键点注意力网络在手语识别与翻译中的应用

手语作为一种非语音交流方式，通过手势、面部表情和身体动作传递信息与意义。当前大多数手语识别(SLR)和翻译方法依赖RGB视频输入，易受背景变化影响。采用基于关键点的策略不仅能降低背景变化的干扰，还可大幅减少模型计算需求。然而，现有基于关键点的方法未能充分利用关键点序列中隐含的知识。为解决这一问题，我们从人类认知机制获得启发——通过分析手势形态与辅助要素的相互作用来辨识手语。我们提出多流关键点注意力网络，用于描述由现有关键点估计器生成的关键点序列。为实现多流间交互，我们研究了关键点融合策略、头部融合及自蒸馏等多种方法。该框架被命名为MSKA-SLR，通过简单添加翻译网络即可扩展为手语翻译(SLT)模型。我们在Phoenix-2014、Phoenix-2014T和CSL-Daily等知名基准测试上进行了全面实验，验证了方法的有效性。特别值得注意的是，我们在Phoenix-2014T手语翻译任务中取得了最新的最先进性能。代码与模型已开源：https://github.com/sutwangyan/MSKA。