概述
在前边一篇文章，我们讲了如何复现论文代码，使用 pascal voc 2012 数据集进行训练和验证，具体内容可以参考《deeplab v3+ 在 pascal_voc 2012 数据集上进行训练》，在本篇文章，我们主要讲述，如何对 deeplab v3+ 进行迁移学习，也即如何使用 deeplab v3+ 算法来训练个人的数据集。
1. 数据集准备
首先在开始之前我们先对数据集做一个简单的说明，由于 deeplabv3+ 使用的 TensorFlow 框架，并且为了提高训练的速度，因此在训练开始前，需要转换成 tfrecorde 类型的文件来进行训练，因此，我们直接仿照 pascal voc 2012 数据集的数据结构来制作数据集，这样我们在训练所需图片准备完成之后可以直接复用转换 tfrecorde 的脚本。
1.1 标注图片，获取 JSON 文件
古人有句话：兵马未动粮草先行，而对深度学习来说，粮草毫无疑问指的是训练的数据，毕竟我们最终的模型都是依靠数据来喂养出来的🐶！因此选择一个趁手的标注工具很重要，此处我推荐使用 labelme，标注起来相当方便。
下边我简单说一下 lableme 的安装方法(此处建议使用 Anconda 来实现环境隔离)。
-
安装 Ancodna 环境，
执行如下命令：
1conda create --name=labelme python=2.7（这一步python=*选择自己的Python版本） 2activate labelme -
安装软件与依赖
1conda install pyqt 2pip install labelme -
启动与使用
1activate labelme 2labelme
启动完成之后可以看到如下界面：
标注的时候，将物体用线条框起来即可，例如：
1.2 转换 JSON，获取 png 图片
在图像标注完成之后，在我们对应设置的文件夹下有许多 JSON，这些 JSON 文件记录了所标注图片的位置以及图片内容等信息，根据这些信息我们可以转换成训练所需要的 mask 图（此处是 png 格式的图片）。
虽然 labelme 中包含 labelme_json_to_dataset 来帮助我们将 JSON 图片转成 png 图片，但是该命令有一个巨大的缺点就是无法实现批量转换，因此需要我们自己写一个批量转换的脚本来辅助转换。
一个简单的转换脚本如下：
1import os
2#path = 'C:/Users/tj/Desktop/dd' # path为labelme标注后的.json文件存放的路径
3path = 'C:\\Users\\Administrator\\Desktop\\第五次数据集扩充\\labels'
4json_file = os.listdir(path)
5for file in json_file:
6 if(file.split('.')[1]=='json'):
7 os.system("labelme_json_to_dataset %s" % (path + '/' + file)) #
8# C:/soft/ev4/venv/Scripts/labelme_json_to_dataset.exe 为labelme_json_to_dataset.exe的路径 path + '/' + file 为读取.json路径
9 print(path + '/' + file)
通过该脚本每一个 JSON 文件都会生成一个以其名字命名的文件夹。
进入该文件我们可以看到有如下四个文件：
1img.png
2lable.png
3label_names.txt
4label_viz.png
其中第二个文件使我们所需要的用于训练的文件，因此我们需要将该文件整合重命名成其原来 JSON 文件的文件名（主要原因是保证和原图的文件名保持一致，便于后续训练）。
从文件夹中提取图片并重命名，我也简单写了一个脚本，可以用于参考，具体内容如下：
1import os
2path = 'c:\\Users\\Administrator\\Desktop\\temp\\'
3output='c:\\Users\\Administrator\\Desktop\\output\\'
4fileDirs=os.listdir(path)
5for fileDir in fileDirs:
6 file=path+fileDir+"\\label.png"
7 if(os.path.exists(file)):
8 # 输出的文件直接以上层文件夹命名
9 end= len(fileDir);
10 fileName=fileDir[:end-5]
11 os.rename(file,output+fileName+".png")
此处处理完成我们便会的到一系列的 mask 图片，此时我们便可以着手数据集的制作。
1.3 制作数据集
正如前边所说，我们在制作数据集的时候仿照的是 pascal voc 2012 的数据集，因此需要创建预期类似文件夹结构。
- 我们首先在
models/research/deeplab/datasets文件夹下为自己的训练集创建一个目录，目录名称即自己的训练集名称。执行如下命令：
1cd ~/models/research/deeplab/datasets
2mkdir mydataset
3cd mydataset
- 创建与 voc 数据集类似的文件夹
1# 存放mask文件
2mkdir SegmentationClassRaw
3# 存放原图
4mkdir JPEGImages
5# 存放数据集描述文件
6mkdir Segmentation
7# 存放预训练权重，如不需要预训练权重可不创建
8mkdir tf_initial_checkpoint
9# 训练权重保存目录
10mkdir train_logs
11# 评估以及测试结果的生成目录
12mkdir vis
13# 存放tfrecorde
-
将训练数据放到指定文件夹中：
- SegmentationClassRaw：存放 mask 文件，也就是前边我们所转换提取的 png 图片
- JPEGImages：存放训练集、验证集以及测试集的原始图片
- Segmentation:存放数据集描述文件，包含三个文件
train.txt、trainval.txt、val.txt- train.txt:记录训练集的图片名称
- trainval.txt：该文件中所记录的内容，后续既会被当做训练集来训练，后续也会被当做验证集来做验证
- val.txt 用以记录验证集的图片名称
-
转换成 tfrecorde 文件。
在
dataset目录下，执行如下命令：1 python3 "build_voc2012_data.py" \ 2 --image_folder="${IMAGE_FOLDER}" \ 3 --semantic_segmentation_folder="${SEMANTIC_SEG_FOLDER}" \ 4 --list_folder="${LIST_FOLDER}" \ 5 --image_format="jpg" \ 6 --output_dir="${OUTPUT_DIR}"
1执行成功后，会在tfrecorde目录下出现如下文件，证明转换成功：
代码修改
在 models/research/deeplab/datasets 目录下：
- 在
remove_gt_colormap.py修改的内容如下：
51 行左右，
1old_raw_pic=np.array(Image.open(filename))
2#原来像素比为0:1:2:3乘以50之后变成0:50💯150
3raw_pic=old_raw_pic*50
4return raw_pic
- 在
data_generator.py中修改的内容：
104 行左右
1 # has changed 增加数据集种类，以及训练验证集合的数量，修改物体类别3+1+1
2_MYDATASET = DatasetDescriptor(
3 splits_to_sizes={
4 'train':392,
5 'trainval':98,
6 'val':5,
7 },
8 num_classes=5, # classes+label+ignore_label
9 ignore_label=255,
10)
11#has changed
12
13_DATASETS_INFORMATION = {
14 'cityscapes': _CITYSCAPES_INFORMATION,
15 'pascal_voc_seg': _PASCAL_VOC_SEG_INFORMATION,
16 'ade20k': _ADE20K_INFORMATION,
17 'mydataset':_MYDATASET,
18}
19
20
在 models/research/deeplab/utils 下
- 在
get_dataset_colormap.py文件中
在第 41 行左右，增加训练种类
1# has changed
2_MYDATASET='mydataset'
3
在 388 行左右，直接使用 pascal 的 colormap
1#has changed
2elif dataset == _MYDATASET:
3return create_pascal_label_colormap()
- 在
train_utils.py中修改的内容
153 行左右，进行训练权重的修改。具体修改参考 https://blog.csdn.net/jairana/article/details/83900226
1 # has changed
2 ignore_weight = 0
3 label0_weight = 1 # 对应background，mask中灰度值0
4 label1_weight = 10 # 对应a，mask中灰度值1
5 label2_weight = 10 # 对应b，mask中灰度值2
6 label3_weight = 10 # 对应c,mask中灰度值为3
7 not_ignore_mask = tf.to_float(tf.equal(scaled_labels, 0)) * label0_weight + \
8 tf.to_float(tf.equal(scaled_labels, 1)) * label1_weight + \
9 tf.to_float(tf.equal(scaled_labels, 2)) * label2_weight + \
10 tf.to_float(tf.equal(scaled_labels, 3)) * label3_weight + \
11 tf.to_float(tf.equal(scaled_labels, ignore_label)) * ignore_weight
12 tf.losses.softmax_cross_entropy(
13 train_labels,
14 tf.reshape(logits, shape=[-1, num_classes]),
15 weights=not_ignore_mask,
16 scope=loss_scope)
17 # end change
18
228 行，排除列表中增加 logits
1exclude_list = ['global_step','logits']
在目录 models/research/deeplab/deprecated 下
segmentation_dataset.py文件中
在 90 行，增加数据类别
1#has changed
2 _MYDATASET= DatasetDescriptor(
3 splits_to_sizes={
4 'train':392,
5 'trainval':98,
6 'val':5,
7 },
8 num_classes=5,
9 ignore_label=255,#background、ignore_label、ignore_label，即label数+2
10 )
11
在 128 行左右，注册新数据集
1_DATASETS_INFORMATION = {
2 'cityscapes': _CITYSCAPES_INFORMATION,
3 'pascal_voc_seg': _PASCAL_VOC_SEG_INFORMATION,
4 'ade20k': _ADE20K_INFORMATION,
5 # has changed
6 'mydataset':_MYDATASET
7}
在 models/research/deeplab/train.py 目录下
158 行左右，修改两个参数（使用所有的预训练权重，除了 logits，因为如果是自己的数据集，对应的 classes 不同(这个我们前面已经设置不加载 logits)，可设置 initialize_last_layer=False 和 last_layers_contain_logits_only=True），可参考 https://blog.csdn.net/u011974639/article/details/80948990
1# has changed
2flags.DEFINE_boolean('initialize_last_layer',False,
3 'Initialize the last layer.')
4
5flags.DEFINE_boolean('last_layers_contain_logits_only', True,
6 'Only consider logits as last layers or not.')
7
训练与验证
训练
执行如下命令开始进行训练：
1python train.py \
2 --logtostderr \
3 --training_number_of_steps=5000 \
4 --train_split="train" \
5 --model_variant="xception_65" \
6 --atrous_rates=6 \
7 --atrous_rates=12 \
8 --atrous_rates=18 \
9 --output_stride=16 \
10 --decoder_output_stride=4 \
11 --train_crop_size="513,513" \
12 --train_batch_size=12 \
13 --dataset="mydataset" \
14 --tf_initial_checkpoint='init_models/deeplabv3_pascal_train_aug/model.ckpt' \
15 --train_logdir='datasets/mydataset/train_logs' \
16 --dataset_dir='datasets/mydataset/tfrecord'
验证
1python eval.py \
2 --logtostderr \
3 --eval_split="val" \
4 --model_variant="xception_65" \
5 --atrous_rates=6 \
6 --atrous_rates=12 \
7 --atrous_rates=18 \
8 --output_stride=16 \
9 --decoder_output_stride=4 \
10 --eval_crop_size="1217,1921" \
11 --checkpoint_dir='models/research/deeplab/datasets/mydataset/train_logs' \
12 --eval_logdir='datasets/mydataset/eval' \
13 --dataset_dir='datasets/mydataset/tfrecord' \
14 --max_number_of_evaluations=1
遇到的如果问题与解决方案
-
无法找到 slim。
解决方法：进入
models/research目录下执行1export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim:`pwd`/deeplab\ -
数据格式不支持，检查是否注册了自己的数据格式