Come on和我一起做基于深度学习的缺陷检测一和我一起做基于深度学习的缺陷检测一(数据准备)数据准备)
基于深度学习的织物疵点检测基于深度学习的织物疵点检测数据集的制作数据标注数据增强(图像和xml文件同时增强)
这里有几句话要说:
这个项目会持续更新,由于要忙于毕业答辩和论文修改,更新时间不定;
由于本人研三,今年毕业要去工作,可能会出现拖更的现象;
我把以前Python-OpenCV的相关博客删除了,因为这个OPENCV更新太快,发现有的已经没啥作用了,以后的博客尽量用矩阵运算的形式来编写代码。
数据集的制作数据集的制作
这里数据集用的是我博客的数据集==>织物疵点数据集,选择这个数据集是因为以下两点原因:
很多人都问我能不能进行深度学习的训练,我想试试能不能;
网上现有的数据集关于缺陷检测的数据量都很少,我在下载了一部分开源的数据集,哪天我整理好,把链接发出来。
数据标注数据标注
首先要明白,缺陷检测是根据检测要求进行标注的,大致分为以下几种情况:
检测是否有缺陷,就像我们熟悉的猫狗识别,实际上是个二分类问题;
检测是否有缺陷,并分类,就像是手写数字识别,你要知道缺陷是啥就OK;
检测是否有缺陷,分类并定位。这就像是YoLo系列和FasterRcnn一样,你不光要知道是啥,还要告诉我它在哪。
这里呢,我准备一步到位,直接实现检测是否有缺陷,分类并定位。
数据集要实现分类定位,首先要做的就是数据的标注,这里的标注工具我用的是,精灵标注助手精灵标注助手,下载戳 精灵标注助手,至于为啥不用LabelImg,就是个人喜好了。
由于我的数据集是包含粗条纹和方格布的,为了给增加电脑的信心,这里就不用这两个类型的了,把纯色的和复合色的布匹通过截图软件进行图像截取,这里我截取的是
512×512大小,其中,对每张含有疵点的图像进行不同位置的截取,每张图像截取两张。费尽九牛二虎之力终于截完了所有的图像,一共得到了2728张图像。其中每类疵
点包含的数据数量如下:
疵点类别疵点类别 数目数目 命名命名
断纱 308 DuanSha
带纱 425 DaiSha
脱纱 668 TuoSha
破洞 112 PoDong
污渍 422 WuZi
棉球 184 MianQiu
正常 609 Normal
可以看出数据类别出现了不平衡的问题,不过这现在对我来说不重要。先是根据命名把截图改个名字,代码直接放上,(这个代码好像是在网上copy的,好久之前的就忘
记了)
import os
class BatchRename():
'''
批量重命名文件夹中的图片文件
'''
def __init__(self):
self.path = 'E:/Learn/dataset/Making_dataset/Normal' # 表示需要命名处理的文件夹
def rename(self):
filelist = os.listdir(self.path) # 获取文件路径
total_num = len(filelist) # 获取文件长度(个数)
i = 1 # 表示文件的命名是从1开始的
for item in filelist:
if item.endswith('.png'): # 初始的图片的格式为jpg格式的(或者源文件是png格式及其
# 他格式,后面的转换格式就可以调整为自己需要的格式即可)
src = os.path.join(os.path.abspath(self.path), item)
dst = os.path.join(os.path.abspath(self.path), 'Normal_0' + str(i) + '.jpg') # 处理后的格式也为jpg格式的,当然这里可以改成png格式
# dst = os.path.join(os.path.abspath(self.path), '0000' + format(str(i), '0>3s') + '.jpg') 这种情况下的命名格式为0000000.jpg形式,可以自主定义想要的格式
try:
os.rename(src, dst)
print('converting %s to %s ...' % (src, dst))
i = i + 1
except:
continue
print('total %d to rename & converted %d jpgs' % (total_num, i))
if __name__ == '__main__':
demo = BatchRename()
demo.rename()
这里我把它定义为 image_rename.py 文件
接下来使用精灵标注助手进行标注了,再次费尽九牛二虎之力后,完成了数据的标注。
评论0