【7班】-OpenMMLab实战营第二期-MMEditing

[Jourllker]

目录：

目录

任务目标——

超分任务的类型——

基于CNN的方法——

SRCNN——

 

评价指标——

SRCNN的问题——

改进——Fast SRCNN

转置卷积的缺陷——

损失函数——

对抗生成网络——

图像数据在高维空间中的分布——

用神经网络表示数据分布——

训练——

早期的GAN——基于MLP

DCGAN——基于反卷积

SRGAN——

Enhanced SRGAN——

---

任务目标——

将图像分辨率增高。

简单实现：双线性或双立方插值。但是不能恢复图像高频细节。

应用：

• 老游戏重置
• 旧照片修复
• 传输高清图像，节省高清图像带宽
• 医疗、卫星影响。。。

 

超分任务的类型——

• 多图超分
• 单图超分：单图超分是一个不适定问题（ill-posed problem），即解不唯一。

 

单图超分的解决：基于已知数据学习图像之间的关系。——稀疏编码。

 

 

基于CNN的方法——

SRCNN——

 

 

 

 

 

 

 

 

评价指标——

峰值信噪比（peak signal to noise ratio, PSNR）：最大信号能量与平均噪声能量的比值，值越大，表明恢复效果越好。

 

SRCNN的问题——

SRCNN先在低分图像上进行插值，然后再高分下进行卷积。

然而，插值并不能产生额外的信息，因而有冗余计算。

改进——Fast SRCNN

• 不插值，直接在低分辨率图像上进行运算。
• 1x1卷积对特征图进行通道压缩。
• 若干卷积之后，再通过转置卷积提高图像分辨率。

 

 

转置卷积的缺陷——

棋盘格效应。往往出现在图像上比较强烈的地方。

 

解决措施：次像素卷积。

 

损失函数——

• 逐像素计算：恢复图像和原始图像的每个像素值之间误差。
• 感知损失函数：比较恢复图像和原始高分图像的语义信息。
  • 特征重构损失函数：直接计算特征图之间的欧式距离。

 

对抗生成网络——

一种 无监督学习。

 

图像数据在高维空间中的分布——

图像在高维空间是一个数据点。通过数学函数，可以将高维数据点映射到低维空间上，也可以从低维空间映射到高维空间。

映射函数G由神经网络构成。

 

用神经网络表示数据分布——

 

 

 

训练——

 

早期的GAN——基于MLP

 

 

DCGAN——基于反卷积

 

 

SRGAN——

 

Enhanced SRGAN——