【论文速递】CVPR2022-基于双重对比学习的非配对深度图像去噪

ARSOYYY 合约 2023-01-20 10:07:42

【论文原文】Unpaired Deep Image Deraining Using Dual Contrastive Learning

论文：https://arxiv.org/pdf/2109.02973.pdf
代码：https://github.com/cschenxiang/DCD-GAN

博主关键词：图像去噪、单图像去雨

推荐相关论文：

无

摘要

从一组不成对的干净和多雨图像中学习单图像去雨(SID)网络是实用且有价值的，因为获取配对的真实世界数据几乎是不可行的。但是，如果没有配对数据作为监督，学习SID网络将具有挑战性。此外，在SID任务中仅使用现有的非配对学习方法(例如，非配对对抗学习和周期一致性约束)不足以学习从雨天输入到干净输出的潜在关系，因为雨水和干净图像之间存在显着的域差距。在本文中，我们开发了一种有效的非配对SID对抗框架，该框架在深层特征空间中通过双重对比学习方式探索了未配对样本的相互属性，称为DCDGAN。所提出的方法主要由双向翻译分支(BTB)和对比引导分支(CGB)两个合作分支组成。具体而言，BTB充分利用对抗一致性的循环架构来生成丰富的样本对，并通过配备双向映射来挖掘两个域之间的潜在特征分布。同时，CGB隐式约束不同样本在深层特征空间中的嵌入，鼓励相似特征分布更近，同时将不同特征分布推得更远，以更好地促进雨水去除和帮助图像恢复。大量的实验表明，我们的方法在合成和真实世界数据集上与现有的不配对去雨方法相比表现良好，并且与几个完全监督或半监督模型产生了可比的结果。

简介

在复杂的雨天环境下拍摄的图像经常受到雨条纹的影响。这些受影响的图像通常会影响许多计算机视觉任务(包括检测，分割和视频监控等)，其性能会急剧下降。因此，开发一种有效的算法来恢复高质量的无雨图像是非常有趣的。

通常，降雨过程通常由以下线性叠加模型建模：
$$O = B + R$$其中 O、B 和 R 分别表示雨图像、干净图像和雨条纹。单图像去雨(SID)的目标是从输入的雨图像O中估计干净的图像B。因为只知道下雨的图像，所以这是一个不适定问题。为了使问题摆在正轨，传统方法通常会对干净的图像和雨水分量施加某些先验。尽管已经取得了不错的结果，但先验是基于经验统计结果，可能无法模拟干净图像和雨水成分的固有属性，因此不能有效地去除雨水。

最近，许多数据驱动的学习方法已经发展起来。尽管已经取得了显着的性能，但这些完全监督的方法需要配对的合成数据，这些数据不能很好地模拟现实世界的退化。因此，由于训练数据和测试数据之间的域差距，这些方法在处理真实世界的雨水图像时通常表现不佳。此外，获取大规模配对真实世界数据以在复杂的雨天环境中进行训练具有挑战性。

为了克服这些问题，半监督和无监督学习已被提议用于SID。这些方法要么通过利用有限的标记数据并引入辅助优化目标来关注域不变特征，要么开发域适应策略以提高深度模型的泛化能力。然而，如果没有对雨纹和干净图像的适当约束，现有的非配对学习方法不能有效地恢复高质量的去雨效果，如图1(b)和(c)所示。请注意，这些方法主要考虑图像空间中的映射关系，而忽略了特征空间中的潜在关系，这并不能完全挖掘出对SID有用的特征信息。由于真实标记数据并不完全可用，如何通过探索雨天输入和干净输出之间的关系来建模潜在空间表示对于基于深度学习的方法非常重要。此外，为了可以轻松获得干净的图像，开发一种有效的方法也很重要，该方法可以探索干净图像的属性，以便在没有配对干净图像时促进图像恢复。

图1. 非配对学习方法在真实世界中多雨图像上的去雨结果。直接使用现有的非配对学习方法并不能有效地去除雨水条纹，例如CycleGAN和DCLGAN。

为此，我们开发了一种双对比Derain-GAN(DCD-GAN)方法，该方法将最近的对比学习与对抗框架相结合，从雨水图像和未配对的干净图像中探索有用的特征，以便提取的特征可以更好地促进雨水去除。理想情况下，我们注意到，如果深度模型能够准确地从雨中恢复干净的图像，那么用于干净图像重建的特征将与来自同一深度模型的地面真实无雨图像的特征具有相互信息。这促使我们引入一种对比学习方法，在深层特征空间中挖掘雨图像和干净图像的相互特征，以便我们可以利用干净图像中的特征更好地指导图像恢复。因此，我们提出的DCD-GAN包括两个主要的交互式分支：双向翻译分支(BTB)和对比引导分支(CGB)。具体来说，BTB配备了双向映射来挖掘与雨相关或干净提示的特征，并且在优化过程中使用对抗训练会产生丰富的示例对。此外，CGB隐式约束相应斑块的潜在空间，通过鼓励正(即相似的特征分布)更近，同时使负(即不同的特征分布)远离来引导脱雨。总结一下，本文的主要贡献总结如下：

• 我们提出了有效的DCD-GAN，利用双重对比学习来鼓励模型探索共同特征，同时区分深层特征空间中雨域和无雨域之间的不同特征。
• DCD-GAN在没有配对训练信息的情况下进行，其中来自未配对干净样本的特征可以促进雨水去除。模型学习到的潜在恢复能力可以提高跨域去雨泛化性能。
• 在具有挑战性的数据集上的实验结果表明，我们开发的方法与现有的非配对降雨方法相比表现良好，并且与几种全监督或半监督模型相比具有可比的性能。

在这里插入图片描述

图2. 我们的双对比Derain-GAN(DCD-GAN)的总体框架，有两个协作分支，即双向翻译分支(BTB)和对比引导分支(CGB)。在特征空间中，由近(正)潜在编码生成的图像在视觉上是相似的，而远的(负)潜在编码生成的图像在视觉上是不相似的。我们开发的CGB旨在学习一种表示，以提取相似的特征分布和分开不同的特征分布。