Tensorflow学习笔记4: Object_detection之准备数据生成TFRecord

参考：Preparing Inputs

1、PASCAL VOC数据集

数据集介绍：

PASCAL Visual Object Classes 是一个图像物体识别竞赛，用来从真实世界的图像中识别特定对象物体，共包括 4 大类 20 小类物体的识别。其类别信息如下。 Person: person Animal: bird, cat, cow, dog, horse, sheep Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train Indoor: bottle, chair, dining table, potted plant, sofa, tv/monitor

为了更加方便以及规范化，在research下面新建一个date文件夹用于存放各种数据集

# From tensorflow/models/research/
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_11-May-2012.tar

python object_detection/dataset_tools/create_pascal_tf_record.py \
　　--label_map_path=object_detection/data/pascal_label_map.pbtxt \
　　--data_dir=date/VOCdevkit \ # 注意修改路径
　　--year=VOC2012 \ # 如果下载的是07的则选用07
　　--set=train \
　　--output_path=date/VOCdevkit/pascal_train.record# 注意修改路径

python object_detection/dataset_tools/create_pascal_tf_record.py \ 
　　--label_map_path=object_detection/data/pascal_label_map.pbtxt \ 
　　--data_dir=date/VOCdevkit \ 
　　--year=VOC2012 \ 
　　--set=val \ 
　　--output_path=date/VOCdevkit/pascal_val.record

正确姿势：

TF-record结果集

 

2、Oxford-IIIT Pet数据集

数据集介绍：

The Oxford-IIIT Pet Dataset是一个宠物图像数据集，包含37种宠物，每种宠物200张左右宠物图片，并同时包含宠物轮廓标注信息。

下载数据，转化为TF-record

wget http://www.robots.ox.ac.uk/~vgg/data/pets/data/images.tar.gz
wget http://www.robots.ox.ac.uk/~vgg/data/pets/data/annotations.tar.gz
tar -xvf annotations.tar.gz
tar -xvf images.tar.gz
python object_detection/dataset_tools/create_pet_tf_record.py \
    --label_map_path=object_detection/data/pet_label_map.pbtxt \
    --data_dir=`pwd`/date/Oxford-IIIT \
    --output_dir=`pwd`/date/Oxford-IIIT

正确姿势：

TF-record结果集

 

 3、训练自己数据集

准备图片和XML文件，xml文件可以用labelImg这个工具进行标注

3.1 按Oxford-IIIT Pet数据集形式生成

复制create_pet_tf_record.py并命名为create_pet_tf_record_sfz_hm.py

label_map_path=/data/zxx/models/research/date/sfz_fyj/sfz_hm_label_map.pbtxt
python object_detection/dataset_tools/create_pet_tf_record_sfz_hm.py \
    --label_map_path=${label_map_path} \
    --data_dir=`pwd`date/sfz_fyj \
    --output_dir=`pwd`date/sfz_fyj

报错：tensorflow.python.framework.errors_impl.NotFoundError: /data/zxx/models/researchdate/sfz_fyj/annotations/trainval.txt; No such file or directory

查看了下sfz_fyj里面确实没有annotation  这个文件夹和annotations/trainval.txt，原因在于我们的数据文件格式未满足create_pet_tf_record_sfz_hm.py的要求

在annotations中除了xmls文件外，还有其余5个文件，

trimaps：数据集中每个图像的Trimap注释，像素注释：1：前景2：背景3：未分类

list.txt：Image CLASS-ID SPECIES BREED ID，类别ID：1-37类；动物种类ID：如猫，狗；BREED ID：1-25：猫1：12：狗

trainval.txt：test.txt鼓励你尝试随机分割

所以上面是提供了两种素材分类的方式，一种是论文采用的，一种是自己随机分配

 

需要自己生成

参考1：http://androidkt.com/train-object-detection/

执行试了下，并不靠谱，弃用，不过还是保留在这，大神懂的，可以指点下下面代码是什么原理。

ls image | grep ".jpg" | sed s/.jpg// > annotations/trainval.txt

参考2:https://github.com/EddyGao/make_VOC2007/blob/master/

 1 import os
 2 import random
 3 
 4 trainval_percent = 0.66
 5 train_percent = 0.5
 6 xmlfilepath = 'annotations/xmls'
 7 txtsavepath = 'annotations'
 8 total_xml = os.listdir(xmlfilepath)
 9 
10 num=len(total_xml)
11 list=range(num)
12 tv=int(num*trainval_percent)
13 tr=int(tv*train_percent)
14 trainval= random.sample(list,tv)
15 train=random.sample(trainval,tr)
16 
17 ftrainval = open('annotations/trainval.txt', 'w')
18 ftest = open('annotations/test.txt', 'w')
19 ftrain = open('annotations/train.txt', 'w')
20 fval = open('annotations/val.txt', 'w')
21 
22 for i  in list:
23     name=total_xml[i][:-4]+'\n'
24     if i in trainval:
25         ftrainval.write(name)
26         if i in train:
27             ftrain.write(name)
28         else:
29             fval.write(name)
30     else:
31         ftest.write(name)
32 
33 ftrainval.close()
34 ftrain.close()
35 fval.close()
36 ftest .close()

make_data_txt.py