[论文翻译]遥感自监督学习的特征引导掩码自编码器

摘要—以掩码图像建模（如掩码自编码器MAE）为指导的自监督学习在遥感领域预训练视觉Transformer时引起了广泛关注。然而，MAE往往过度关注像素细节，从而限制了模型（特别是对含噪SAR图像）的语义理解能力。本文探索将光谱与空间遥感图像特征作为改进的MAE重建目标：首先对不同图像特征重建效果进行研究，发现所有特征均表现优于或等同于原始像素；基于此提出特征引导掩码自编码器（FG-MAE）——针对多光谱图像重建方向梯度直方图（HOG）与归一化差异指数（NDI）的组合特征，针对SAR图像则重建HOG特征。在三个下游任务的实验结果表明FG-MAE具有显著效果（尤其对SAR图像提升明显），同时验证了该方法良好的可扩展性，并首次发布了中分辨率SAR与多光谱图像的预训练视觉Transformer系列模型。