[论文翻译]基于门控卷积的自由形式图像修复

我们提出了一种生成式图像修复系统，能够通过自由形式的遮罩和引导来完成图像。该系统基于从数百万张图像中学习到的门控卷积，无需额外的标注工作。所提出的门控卷积解决了普通卷积将所有输入像素视为有效像素的问题，通过为每一层中每个空间位置的每个通道提供可学习的动态特征选择机制，推广了部分卷积。此外，由于自由形式的遮罩可能以任何形状出现在图像的任意位置，为单个矩形遮罩设计的全局和局部 GAN 并不适用。因此，我们还提出了一种基于 patch 的 GAN 损失，名为 SN-PatchGAN，通过在密集图像 patch 上应用谱归一化判别器来实现。SN-PatchGAN 在公式上简单，训练快速且稳定。自动图像修复和用户引导扩展的结果表明，我们的系统比之前的方法生成了更高质量且更灵活的结果。我们的系统帮助用户快速移除干扰物体、修改图像布局、清除水印和编辑面部。代码、演示和模型可在以下网址获取