vcjmhg 的个人博客

自律者自由

  menu
84 文章
13419 浏览
1 当前访客
ღゝ◡╹)ノ❤️

使用deeplabv3+训练自己数据集(迁移学习)

概述

在前边一篇文章,我们讲了如何复现论文代码,使用 pascal voc 2012 数据集进行训练和验证,具体内容可以参考《deeplab v3+ 在 pascal_voc 2012 数据集上进行训练》,在本篇文章,我们主要讲述,如何对 deeplab v3+ 进行迁移学习,也即如何使用 deeplab v3+ 算法来训练个人的数据集。

1. 数据集准备

首先在开始之前我们先对数据集做一个简单的说明,由于 deeplabv3+ 使用的 TensorFlow 框架,并且为了提高训练的速度,因此在训练开始前,需要转换成 tfrecorde 类型的文件来进行训练,因此,我们直接仿照 pascal voc 2012 数据集的数据结构来制作数据集,这样我们在训练所需图片准备完成之后可以直接复用转换 tfrecorde 的脚本。

1.1 标注图片,获取 JSON 文件

古人有句话:兵马未动粮草先行,而对深度学习来说,粮草毫无疑问指的是训练的数据,毕竟我们最终的模型都是依靠数据来喂养出来的🐶!因此选择一个趁手的标注工具很重要,此处我推荐使用 labelme,标注起来相当方便。

下边我简单说一下 lableme安装方法(此处建议使用 Anconda 来实现环境隔离)。

  1. 安装 Ancodna 环境,

    执行如下命令:

    1conda create --name=labelme python=2.7(这一步python=*选择自己的Python版本)
    2activate labelme
    
  2. 安装软件与依赖

    1conda install pyqt
    2pip install labelme
    
  3. 启动与使用

    1activate labelme
    2labelme
    

启动完成之后可以看到如下界面:

image-20200927143131553

标注的时候,将物体用线条框起来即可,例如:

img

1.2 转换 JSON,获取 png 图片

在图像标注完成之后,在我们对应设置的文件夹下有许多 JSON,这些 JSON 文件记录了所标注图片的位置以及图片内容等信息,根据这些信息我们可以转换成训练所需要的 mask 图(此处是 png 格式的图片)。

虽然 labelme 中包含 labelme_json_to_dataset 来帮助我们将 JSON 图片转成 png 图片,但是该命令有一个巨大的缺点就是无法实现批量转换,因此需要我们自己写一个批量转换的脚本来辅助转换。

一个简单的转换脚本如下:

1import os
2#path = 'C:/Users/tj/Desktop/dd'  # path为labelme标注后的.json文件存放的路径
3path = 'C:\\Users\\Administrator\\Desktop\\第五次数据集扩充\\labels'
4json_file = os.listdir(path)
5for file in json_file:
6    if(file.split('.')[1]=='json'):
7        os.system("labelme_json_to_dataset  %s" % (path + '/' + file))  #
8# C:/soft/ev4/venv/Scripts/labelme_json_to_dataset.exe  为labelme_json_to_dataset.exe的路径  path + '/' + file 为读取.json路径
9    print(path + '/' + file)

通过该脚本每一个 JSON 文件都会生成一个以其名字命名的文件夹。

image-20200927151507055

进入该文件我们可以看到有如下四个文件:

1img.png
2lable.png
3label_names.txt
4label_viz.png

其中第二个文件使我们所需要的用于训练的文件,因此我们需要将该文件整合重命名成其原来 JSON 文件的文件名(主要原因是保证和原图的文件名保持一致,便于后续训练)。

从文件夹中提取图片并重命名,我也简单写了一个脚本,可以用于参考,具体内容如下:

 1import os
 2path = 'c:\\Users\\Administrator\\Desktop\\temp\\'
 3output='c:\\Users\\Administrator\\Desktop\\output\\'
 4fileDirs=os.listdir(path)
 5for fileDir in fileDirs:
 6    file=path+fileDir+"\\label.png"
 7    if(os.path.exists(file)):
 8        # 输出的文件直接以上层文件夹命名
 9        end= len(fileDir);
10        fileName=fileDir[:end-5]
11        os.rename(file,output+fileName+".png")

此处处理完成我们便会的到一系列的 mask 图片,此时我们便可以着手数据集的制作。

1.3 制作数据集

正如前边所说,我们在制作数据集的时候仿照的是 pascal voc 2012 的数据集,因此需要创建预期类似文件夹结构。

  1. 我们首先在 models/research/deeplab/datasets 文件夹下为自己的训练集创建一个目录,目录名称即自己的训练集名称。执行如下命令:
1cd ~/models/research/deeplab/datasets
2mkdir mydataset
3cd mydataset
  1. 创建与 voc 数据集类似的文件夹
 1# 存放mask文件
 2mkdir SegmentationClassRaw
 3# 存放原图
 4mkdir JPEGImages
 5# 存放数据集描述文件
 6mkdir Segmentation
 7# 存放预训练权重,如不需要预训练权重可不创建
 8mkdir tf_initial_checkpoint
 9# 训练权重保存目录
10mkdir train_logs
11# 评估以及测试结果的生成目录
12mkdir vis
13# 存放tfrecorde
  1. 将训练数据放到指定文件夹中:

    1. SegmentationClassRaw:存放 mask 文件,也就是前边我们所转换提取的 png 图片
    2. JPEGImages:存放训练集、验证集以及测试集的原始图片
    3. Segmentation:存放数据集描述文件,包含三个文件 train.txt、t rainval.txtval.txt
      1. train.txt:记录训练集的图片名称
      2. trainval.txt:该文件中所记录的内容,后续既会被当做训练集来训练,后续也会被当做验证集来做验证
      3. val.txt 用以记录验证集的图片名称
  2. 转换成 tfrecorde 文件。

    dataset 目录下,执行如下命令:

    1 python3 "build_voc2012_data.py" \
    2    --image_folder="${IMAGE_FOLDER}" \
    3    --semantic_segmentation_folder="${SEMANTIC_SEG_FOLDER}" \
    4    --list_folder="${LIST_FOLDER}" \
    5    --image_format="jpg" \
    6    --output_dir="${OUTPUT_DIR}"  
    
1执行成功后,会在tfrecorde目录下出现如下文件,证明转换成功:

image-20200927164917463

代码修改

models/research/deeplab/datasets 目录下:

  • remove_gt_colormap.py 修改的内容如下:

51 行左右,

1old_raw_pic=np.array(Image.open(filename))
2#原来像素比为0:1:2:3乘以50之后变成0:50💯150
3raw_pic=old_raw_pic*50
4return raw_pic
  • data_generator.py 中修改的内容:

104 行左右

 1 # has changed 增加数据集种类,以及训练验证集合的数量,修改物体类别3+1+1
 2_MYDATASET = DatasetDescriptor(
 3    splits_to_sizes={
 4        'train':392,
 5        'trainval':98,
 6        'val':5,
 7    },
 8    num_classes=5, # classes+label+ignore_label
 9    ignore_label=255,
10)
11#has changed
12
13_DATASETS_INFORMATION = {
14    'cityscapes': _CITYSCAPES_INFORMATION,
15    'pascal_voc_seg': _PASCAL_VOC_SEG_INFORMATION,
16    'ade20k': _ADE20K_INFORMATION,
17    'mydataset':_MYDATASET,
18}
19
20

models/research/deeplab/utils

  • get_dataset_colormap.py 文件中

在第 41 行左右,增加训练种类

1# has changed
2_MYDATASET='mydataset'
3

在 388 行左右,直接使用 pascal 的 colormap

1#has changed
2elif dataset == _MYDATASET:
3return create_pascal_label_colormap()
  • train_utils.py 中修改的内容

153 行左右,进行训练权重的修改。具体修改参考 https://blog.csdn.net/jairana/article/details/83900226

 1 # has changed
 2    ignore_weight = 0
 3    label0_weight = 1  # 对应background,mask中灰度值0
 4    label1_weight = 10  # 对应a,mask中灰度值1
 5    label2_weight = 10  # 对应b,mask中灰度值2
 6    label3_weight = 10 # 对应c,mask中灰度值为3
 7    not_ignore_mask = tf.to_float(tf.equal(scaled_labels, 0)) * label0_weight + \
 8    	tf.to_float(tf.equal(scaled_labels, 1)) * label1_weight + \
 9   		tf.to_float(tf.equal(scaled_labels, 2)) * label2_weight + \
10    	tf.to_float(tf.equal(scaled_labels, 3)) * label3_weight + \
11   	 	tf.to_float(tf.equal(scaled_labels, ignore_label)) * ignore_weight
12   	tf.losses.softmax_cross_entropy(
13        train_labels,
14        tf.reshape(logits, shape=[-1, num_classes]),
15        weights=not_ignore_mask,
16        scope=loss_scope)
17    # end change
18

228 行,排除列表中增加 logits

1exclude_list = ['global_step','logits']

在目录 models/research/deeplab/deprecated

  • segmentation_dataset.py 文件中

在 90 行,增加数据类别

 1#has changed
 2  _MYDATASET= DatasetDescriptor(
 3      splits_to_sizes={
 4          'train':392,
 5          'trainval':98,
 6          'val':5,
 7      },
 8      num_classes=5,
 9      ignore_label=255,#background、ignore_label、ignore_label,即label数+2
10  )
11

在 128 行左右,注册新数据集

1_DATASETS_INFORMATION = {
2     'cityscapes': _CITYSCAPES_INFORMATION,
3     'pascal_voc_seg': _PASCAL_VOC_SEG_INFORMATION,
4     'ade20k': _ADE20K_INFORMATION,
5     # has changed
6     'mydataset':_MYDATASET
7}

models/research/deeplab/train.py 目录下

158 行左右,修改两个参数(使用所有的预训练权重,除了 logits,因为如果是自己的数据集,对应的 classes 不同(这个我们前面已经设置不加载 logits),可设置 initialize_last_layer=False 和 last_layers_contain_logits_only=True),可参考 https://blog.csdn.net/u011974639/article/details/80948990

1# has changed
2flags.DEFINE_boolean('initialize_last_layer',False,
3                     'Initialize the last layer.')
4
5flags.DEFINE_boolean('last_layers_contain_logits_only', True,
6                     'Only consider logits as last layers or not.')
7

训练与验证

训练

执行如下命令开始进行训练:

 1python train.py \
 2    --logtostderr \
 3    --training_number_of_steps=5000 \
 4    --train_split="train" \
 5    --model_variant="xception_65" \
 6    --atrous_rates=6 \
 7    --atrous_rates=12 \
 8    --atrous_rates=18 \
 9    --output_stride=16 \
10    --decoder_output_stride=4 \
11    --train_crop_size="513,513" \
12    --train_batch_size=12 \
13    --dataset="mydataset" \
14    --tf_initial_checkpoint='init_models/deeplabv3_pascal_train_aug/model.ckpt' \
15    --train_logdir='datasets/mydataset/train_logs' \
16    --dataset_dir='datasets/mydataset/tfrecord'

验证

 1python eval.py \
 2    --logtostderr \
 3    --eval_split="val" \
 4    --model_variant="xception_65" \
 5    --atrous_rates=6 \
 6    --atrous_rates=12 \
 7    --atrous_rates=18 \
 8    --output_stride=16 \
 9    --decoder_output_stride=4 \
10    --eval_crop_size="1217,1921" \
11    --checkpoint_dir='models/research/deeplab/datasets/mydataset/train_logs' \
12    --eval_logdir='datasets/mydataset/eval' \
13    --dataset_dir='datasets/mydataset/tfrecord' \
14    --max_number_of_evaluations=1

遇到的如果问题与解决方案

  1. 无法找到 slim。

    解决方法:进入 models/research 目录下执行

    1export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim:`pwd`/deeplab\
    
  2. 数据格式不支持,检查是否注册了自己的数据格式


标题:使用deeplabv3+训练自己数据集(迁移学习)
作者:vcjmhg
地址:https://vcjmhg.top/train-own-data-wtih-deeplav3plus