MMSegmentation代码课

[交大-小郭]

 

MMSegmentation是一个开源的图像语义分割工具库，由香港中文大学多媒体实验室（Multimedia Laboratory, The Chinese University of Hong Kong）开发和维护。它基于PyTorch深度学习框架，并提供了一系列强大的模型和工具，用于图像语义分割任务的研究和开发。

MMSegmentation库的主要特点和功能包括：

1. 多种模型架构：MMSegmentation提供了多种常用的图像语义分割模型架构，如UNet、DeepLab、PSPNet、FCN等。这些模型在语义分割领域取得了很好的效果，可以根据任务需求进行选择和使用。

2. 高度可定制性：MMSegmentation提供了灵活的配置文件，可以方便地进行模型参数设置、数据预处理、训练和推断等操作。用户可以根据自己的需求，自定义模型结构、超参数和训练策略。

3. 数据集支持：MMSegmentation支持多个常用的图像语义分割数据集，如Cityscapes、PASCAL VOC、ADE20K等。它提供了数据集的加载和处理工具，简化了数据准备的过程。

4. 模型训练和推断：MMSegmentation提供了训练和推断的功能，可以方便地进行模型的训练和评估。用户可以选择不同的优化算法、损失函数和学习率策略，并支持分布式训练。

5. 实验结果复现：MMSegmentation提供了一系列预训练的模型权重，用户可以直接使用这些模型进行图像语义分割任务，或者基于这些模型进行进一步的研究和开发。

 

主要特性

• 统一的基准平台

  我们将各种各样的语义分割算法集成到了一个统一的工具箱，进行基准测试。

• 模块化设计

  MMSegmentation 将分割框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的分割模型。

• 丰富的即插即用的算法和模型

  MMSegmentation 支持了众多主流的和最新的检测算法，例如 PSPNet，DeepLabV3，PSANet，DeepLabV3+ 等.

• 速度快

  训练速度比其他语义分割代码库更快或者相当。

 

安装Pytorch

# 安装Pytorch

!pip3 install install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio==0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html

用MIM安装MMCV

!pip install -U openmim
!mim install mmengine
!mim install 'mmcv==2.0.0rc4'

 

安装其它工具包

!pip install opencv-python pillow matplotlib seaborn tqdm pytorch-lightning 'mmdet>=3.0.0rc1' -i https://pypi.tuna.tsinghua.edu.cn/simple

下载 MMSegmentation

从 github 上下载最新的 mmsegmentation 源代码 !git clone https://github.com/open-mmlab/mmsegmentation.git -b dev-1.x

安装 MMSegmentation

!pip install -v -e .

 

 

 

 

ADE20K语义分割数据集

mmsegmentation/mmseg/datasets/ade.py

关于ADE20K的故事：https://www.zhihu.com/question/390783647/answer/1226097849

 

使用MMSegmentation，在自己的数据集上，训练语义分割模型。

• 数据集标注（可选）

使用Labelme、LabelU等数据标注工具，标注多类别语义分割数据集，并转换为Mask灰度图格式。

• 数据集整理

划分训练集、测试集

• 使用MMSegmentation训练语义分割模型

在MMSegmentation中，指定预训练模型，配置config文件，修改类别数、学习率。

• 用训练得到的模型预测

获得测试集图片或新图片的语义分割预测结果，对结果进行可视化和后处理。

• 在测试集上评估算法的速度和精度性能

• 使用MMDeploy部署语义分割模型（可选）

推荐使用数据集

• 单类别

组织病理切片小鼠肾小球：https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20230130-mmseg/dataset/Glomeruli-dataset.zip

• 多类别

迪拜卫星航拍六类别：https://www.kaggle.com/datasets/humansintheloop/semantic-segmentation-of-aerial-imagery

其它单类别语义分割数据集

乳腺癌：https://www.kaggle.com/datasets/aryashah2k/breast-ultrasound-images-dataset

电子显微镜粒子：https://www.kaggle.com/datasets/batuhanyil/electron-microscopy-particle-segmentation

农作物病虫害叶片：https://www.kaggle.com/datasets/fakhrealam9537/leaf-disease-segmentation-dataset

农作物地块：https://www.kaggle.com/datasets/khlaifiabilel/pastis

洪水航拍区域：https://www.kaggle.com/datasets/faizalkarim/flood-area-segmentation?select=Image

指甲：https://www.kaggle.com/datasets/vpapenko/nails-segmentation

水下场景：https://www.kaggle.com/datasets/ashish2001/semantic-segmentation-of-underwater-imagery-suim

西红柿种子：https://www.kaggle.com/datasets/juanma9901/tomatoseedsdatasetjm

肾小球：https://www.kaggle.com/datasets/baesiann/glomeruli-hubmap-external-1024x1024

卫星建筑物：https://www.kaggle.com/datasets/hyyyrwang/buildings-dataset

荧光显微镜小鼠脑切片发光神经元-实例分割：https://www.kaggle.com/datasets/nbroad/fluorescent-neuronal-cells

混凝土裂缝：https://www.kaggle.com/datasets/jakubniemiec/concrete-crack-images

核磁共振脑瘤分割：https://www.kaggle.com/datasets/awsaf49/brats2020-training-data

腹部CT肝脏病变分割：https://www.kaggle.com/datasets/andrewmvd/liver-tumor-segmentation

脑部神经胶质瘤核磁共振：https://www.kaggle.com/datasets/mateuszbuda/lgg-mri-segmentation

其它多类别语义分割数据集

高分辨率航拍-多类别：https://www.kaggle.com/datasets/titan15555/uavid-semantic-segmentation-dataset

无人机航拍：https://www.kaggle.com/datasets/bulentsiyah/semantic-drone-dataset

衣物：https://www.kaggle.com/datasets/rajkumarl/people-clothing-segmentation

海洋生物：https://www.kaggle.com/datasets/crowww/a-large-scale-fish-dataset

腿和脚趾：https://www.kaggle.com/datasets/tapakah68/legs-segmentation

无人机航拍：https://www.kaggle.com/datasets/santurini/semantic-segmentation-drone-dataset

其它图像分类数据集

气胸：https://www.kaggle.com/c/siim-acr-pneumothorax-segmentation