【7班】-OpenMMLab-实战营第二期-MMSeqmentation

[Jourllker]

目录：

目录

语义分割——MMSegmentation

图像分割的三种层次——

语义分割基本思路——

同种颜色的聚类——

 

卷积神经网络+滑窗——

解决重复计算：

解决——卷积取代全连接层：

语义分割评估指标——

 全卷积网络——

特点——卷积网络进行语义分割

双线性插值——

 转置卷积——

 上下文信息——

PSPNet——2016

DeepLab的创新——

空洞卷积——

条件随机场——CRF

---

语义分割——MMSegmentation

什么是——把图像中每个像素做分类。把像素按物体的类别分类。

无人驾驶、遥感、医疗...

 

应用举例：

 

 

进行语义分割之后，可以进行后续一系列处理：如骨干轮廓提取、关键点检测等。

图像分割的三种层次——

从低到高：语义分割、实例分割、全景分割。

 

语义分割基本思路——

同种颜色的聚类——

聚类：按颜色相近的色块进行聚类。

可以实现抠图，但是不能得到语义。

 

卷积神经网络+滑窗——

有缺点：重复计算严重。这个前面目标检测也有很多相关内容。

 

解决重复计算：

先对原图进行一次卷积，得到特征图。在特征图上滑窗或者全连接。（老方法了）

这样有另一个问题：全连接层的输入是固定，但是输入的图像是随即大小的，这样导致特征图大小也是随机的。

解决——卷积取代全连接层：

这样每个通道代表了一个类别的概率。

语义分割评估指标——

主要就是交并比。

 全卷积网络——

因为没有全连接层，只有卷积层，所以叫全卷积网络。

 

特点——卷积网络进行语义分割

和卷积进行对比：

最后输出的图片是某个类别（图中是猫）的概率的热力图，然后再做聚类。

 

问题：卷积神经网路使用上采样，从热力图还原到原图的感受野如何确定呢？

解决：上采样（升采样）。

双线性插值——

计算过程。

 

一次双线性插值就可以使用下图这样一个卷积核完成。

 转置卷积——

如果卷积核是可学习的，那么就成为了转置卷积：

注：转置卷积和卷积在形状上有互逆的关系，在结果上没有。

高层次特征语义丰富但是位置信息缺乏，导致还原到原图的时候区分糊成一片。

可以基于多层级特征进行上采样。

 上下文信息——

图像周围的内容（上下文）可以帮助进行更加准确的判断。

PSPNet——2016

通过不同尺度的池化来实现。

 

DeepLab的创新——

• 空洞卷积
• 条件随机场

空洞卷积——

膨胀卷积核，特征图不变。

简单对比普通下采样和空洞卷积：

利用空洞卷积取代下采样层，并逐步增加rate以维持特征图的大小基本不变。

条件随机场——CRF

模型输出的分割很模糊，可以结合原图的颜色信息对模型预测结合，得到精细化分割结果。

条件随机场通过能量函数实现：

总的思路就是鼓励在颜色变化处认为类别是不一样的。