openmmlab AI实战营第2期 笔记8

[卖小麦←_←]

视频地址

语义分割与MMSegmentation

• 1. 语义分割的基本思路
• 1.1 按颜色分割
• 2. 深度学习下的语义分割模型
• 2.1 逐像素分类
• 2.2 复用卷积神经网络
• 2.3 全连接层的卷积化
• 2.4 全卷积网络
• 2.5 基于多层级特征的上采样
• 2.6 空洞卷积与deepLab模型
• 2.6.1 空洞卷积
• 2.6.2 deeplab
• 2.7 上下文信息与PSPNet模型
• 2.7.1 PSPNet模型
• 2.7.2 ASPP模型
• 2.7.3 Deeplab V3+
• 3. 分割模型的评估方法
• 3.1 比较预测和真值
• 3.2 评估指标

1. 语义分割的基本思路

1.1 按颜色分割

颜色一样的为同一物体
缺点：不同的物体颜色可能相近

2. 深度学习下的语义分割模型

2.1 逐像素分类

利用卷积神经网络对每个像素进行分类
缺点：效率低下，重叠区域重复计算浪费算力

2.2 复用卷积神经网络

在遍历图像进行卷积的过程中，由于卷积核是一样的，因此可以先把图像卷积一遍得到一个feature map，
后面经行分类时，再从feature map中提取该区域的特征来计算
这也是rcnn-->fast rcnn --> faster rcnn的思路

2.3 全连接层的卷积化

原来的卷积网络最后通过全连接层计算类别
这样反推就导致，输入的图像的长宽必须是固定大小
改进：将全连接层替换成卷积层，将类别的概率存放在维度的通道里

2.4 全卷积网络

整个分类网络都没有全连接层，
对图像进行多次下采样后，对特征图进行上采样，恢复到原来图像的分辨率作为输出
上采样方法：双线性插值，转置卷积网路（可学习的升采样层）

用卷积实现的双线性插值

2.5 基于多层级特征的上采样

在上采样的时候将低层级产生的特征和高层级产生的特征平均计算一下，得到语义信息更丰富的特征图输出
代表：FCN，UNET

2.6 空洞卷积与deepLab模型

2.6.1 空洞卷积

传统卷积会得到一个小尺寸的特征图，而要把特征图还原到输入的分辨率，则需要额外的上采样，增加了学习的参数
空洞卷积则是膨胀卷积核，使得卷积的特征图尺寸不会变小

2.6.2 deeplab

在传统分类模型的基础上将降采样的卷积层替换成空洞卷积层，并在最后使用条件随机场对图像的边界进行精细化分割，使得结果更精确

2.7 上下文信息与PSPNet模型

当一个物体无法分辨他的类别时，把它放到一个更大的感受野中便可识别出来
这个感受野就叫上下文信息

2.7.1 PSPNet模型

把卷积得到的特征图进行多尺度池化，得到不同尺度的特征，然后再把这些特征拼接在一起，作为类别预测的特征图
经过这样操作的特征图，具备局部和上下文的特征

2.7.2 ASPP模型

PSPNet和DeepLab的结合
既有deeplab的空洞卷积，又有PSPNet的多尺度上下文信息

2.7.3 Deeplab V3+

在ASPP的基础上增加了参考Unet的encoder/decoder的结构，将拼接的特征融合到一起

3. 分割模型的评估方法

3.1 比较预测和真值

3.2 评估指标

Jaccard(IoU)
用于比较有限样本集之间的相似性与差异性。Jaccard值越大, 样本相似度越高。

​

Dice相似系数
一种集合相似度度量指标, 通常用于计算两个样本的相似度, 值的范围0 1, 分割结果最好时值为 1 , 最差时值为 0 。Dice相似系数对mask的内部填充比较敏感。