[论文翻译]Axial-DeepLab: 独立轴向注意力机制的全景分割

Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation Axial-DeepLab: 独立轴向注意力机制的全景分割 Huiyu Wang $\cdot^{\perp\star}$ , Yukun Zhu $^2$ , Bradley Green2, Hartwig Adam $^2$ , Alan Yuille $\perp$ , and Liang-Chieh Chen $^2$ Huiyu Wang $\... 卷积利用局部性提升效率，却以牺牲长距离上下文为代价。自注意力机制被引入以增强CNN的非局部交互能力。近期研究证明，通过将注意力限制在局部区域，可以堆叠自注意力层构建全注意力网络。本文尝试通过将二维自注意力分解为两个一维自注意力来突破这一限制，从而降低计算复杂度，并实现在更大甚至全局范围内执行注意力。同时，我们提出位置敏感的自注意力设计。二者结合形成新型基础模块——位置敏感轴向注意力层，可堆叠构建用于图像分类和密集预测的轴向注意力模型。我们在四个大规模数据集上验证了模型有效性：在ImageNet上超越所有现有独立自注意力模型；Axial-DeepLab在COCO test-dev上以\$2.8\%\$ PQ提升超越自底向上方法的最优结果，该记录由我们的小型变体实现（参数效率提升\$3.8\times\$，计算效率提升\$27\times\$）；在Mapillary Vistas和Cityscapes数据集上也达到最优性能。