新的图像修复技术可准确预测缺失的图像区域 填补空白

  图像修复是一种计算机视觉技术，其中可以填充图像中缺少的像素。它通常用于从图像中删除不需要的对象或重新创建被遮挡的图像的缺失区域。修复是预测缺失图像数据的常用工具，但是以逼真的，连贯的方式合成缺失像素是一项挑战。



东京大学的研究人员提出了一种基于频率的修复方法，该方法可以同时使用频率和空间信息来生成缺失的图像部分。Hiya Roy等人在《电子成像杂志》（JEI）上发表。“Image inpainting using frequency domain priors”中详细介绍了该技术。当前的方法在学习过程中仅采用空间域信息，这可能会使内部重建的细节丢失，从而导致仅估计原始补丁的低频部分。为了解决该问题，研究人员研究了基于频率的图像修复，并证明了在频域中将修复转换为反卷积可以预测缺失图像区域的局部结构。



CelebA数据集上不同图像修复方法的语义特征完成结果的视觉比较。



a）输入具有缺失区域的图像，b）作者的反卷积网络进行的第一阶段重构的DFT，c）拟议方法的图像修复结果（第二阶段之后），以及d）地面真实（GT）图像。最后一列显示了通过新方法获得的缺失区域的预测以及GT图像中相同区域的原始像素值。



罗伊说，频域信息包含丰富的表示形式，使网络能够以比仅使用空间域信息的传统方式更好的方式执行图像理解任务。因此，在这项工作中，我们尝试通过使用频域和空间域信息来训练网络来实现更好的图像修复性能。



历史上，图像修复算法分为两大类。基于扩散的图像修复算法尝试将图像的外观复制到缺失区域中。这种方法可以很好地填充小孔，但是结果的质量会随着孔大小的增加而降低。第二类是基于补丁的修补算法，该算法在图像中寻找最合适的补丁以填充缺失的部分。此方法可以填充较大的孔，但对图像的复杂或独特部分无效。



这项研究的独创性在于作者在去卷积网络的修复的第一阶段就使用了频域表示，即通过快速傅里叶变换获得的图像频谱。波尔多大学，JEI高级编辑表示，这产生了捕获图像结构元素的粗糙修复结果。然后，通过GAN网络在像素域中完成了改进。在所有质量指标（PSNR，SSIM和L1）上，他们的方法都优于最新技术。



Roy及其同事表明，在频域中进行反卷积可以使用来自图像的上下文来预测图像结构的缺失区域。在第一阶段，他们的模型使用频域信息学习上下文，然后重建高频部分。在第二阶段，它使用空间域信息来指导图像的配色方案，然后增强在第一阶段中获得的细节和结构。结果是更好的修复效果。



Roy等人说，实验结果表明，通过生成更清晰的细节和感知上逼真的修复效果，我们的方法可以在具有挑战性的数据集上取得比最新技术更好的结果。 根据我们的经验结果，我们认为同时使用频率和空间信息的方法应具有优势，因为它们具有优越的性能。