1.数据集情况

将数据集划分为训练集、测试集和验证集
原始数据集地址Kolektor Surface-Defect Dataset (KolektorSDD/KSDD) | ViCoS Lab
原始数据集共两个文件夹，0：359 （无缺陷） 1：40（有缺陷）
该数据集收集了电子换向器的缺陷图像。具体地，在电子换向器的塑料包埋表面上，存在微小的破损或裂缝。
图像是在受控条件下【光照均匀等】采集的。
为缺陷图像提供了缺陷的像素级标注。【原数据标注为语义分割的标注】
该数据集包括对50个缺陷电子换向器的每个换向器表面采集8张不重叠的图像，得到共399张图像，其中包括：

- 52张缺陷图像。
-347张无缺陷图像。

2.数据集划分

参考:图片数据集划分为训练集、测试集、验证集

# -*- coding: utf-8 -*-
"""
将数据集划分为训练集，验证集，测试集
"""
import os
import random
import shutil
# 创建保存图像的文件夹
def makedir(new_dir):
    if not os.path.exists(new_dir):
        os.makedirs(new_dir)
random.seed(1) # 随机种子

# 1.确定原图像数据集路径
#dataset_dir = "D:/test2021/train_val_test0811/"  ##原始数据集路径
dataset_dir = "C:/Users/whd/Desktop/1临时/data3(1)/data_biaomian/"  ##原始数据集路径
# 2.确定数据集划分后保存的路径
split_dir = "C:/Users/whd/Desktop/1临时/data3(1)/biaomianafter/"  ##划分后保存路径
train_dir = os.path.join(split_dir, "train")
valid_dir = os.path.join(split_dir, "val")
test_dir = os.path.join(split_dir, "test")
# 3.确定将数据集划分为训练集，验证集，测试集的比例
train_pct = 0.8
valid_pct = 0.2
test_pct = 0
# 4.划分
for root, dirs, files in os.walk(dataset_dir):
    for sub_dir in dirs: # 遍历0，1，2，3，4，5...9文件夹
        imgs = os.listdir(os.path.join(root, sub_dir)) # 展示目标文件夹下所有的文件名
        imgs = list(filter(lambda x: x.endswith('.jpg'), imgs)) # 取到所有以.png结尾的文件，如果改了图片格式，这里需要修改
        random.shuffle(imgs)  # 乱序图片路径
        img_count = len(imgs)  # 计算图片数量
        train_point = int(img_count * train_pct)  # 0:train_pct
        valid_point = int(img_count * (train_pct + valid_pct))  # train_pct:valid_pct

        for i in range(img_count):
            if i < train_point:  # 保存0-train_point的图片到训练集
                out_dir = os.path.join(train_dir, sub_dir)
            elif i < valid_point:  # 保存train_point-valid_point的图片到验证集
                out_dir = os.path.join(valid_dir, sub_dir)
            else:  #  保存valid_point-结束的图片到测试集
                out_dir = os.path.join(test_dir, sub_dir)
            makedir(out_dir) # 创建文件夹
            target_path = os.path.join(out_dir, imgs[i]) # 指定目标保存路径
            src_path = os.path.join(dataset_dir, sub_dir, imgs[i])  #指定目标原图像路径
            shutil.copy(src_path, target_path)  # 复制图片

        print('Class:{}, train:{}, valid:{}, test:{}'.format(sub_dir, train_point, valid_point-train_point,img_count-valid_point))

结果展示


上面的程序亲测可用，另外后面的两个可用的数据集划分资料，质量也非常高。

3.加预训练后，准确率明显提升

python tools/test.py configs/resnet/resnet50_8xb32_in1k_biaomian_pretrain.py work_dirs/resnet50_8xb32_in1k/epoch_100.pth --out result.pkl --show-dir output_cls

运行结果如下：98.7654%

会生成一个文件（result.pkl）和一个文件夹(output_cls)。其中result.pkl文件保存的是总体的识别结果（也可以是其他指标，需需要在配置文件里修改），output_cls保存的是对测试集的每个图片的识别结果，并标记到图片上（注意这个图不是原图，是随机裁减并归一化之后的图）。
如下图所示：

4.openmmlab提供模型部署功能

包括目标分类模型和目标检测模型。

5.实验结果可视化

python tools/analysis_tools/analyze_logs.py plot_curve your_log_json --keys loss --legend loss

python tools/analysis_tools/analyze_logs.py plot_curvework_dirs/resnet50_8xb32_in1k/20230409_101443/20230409_101443.log --keys accuracy_top-1 accuracy_top-2  --legend top1 top2 --out results.jpg

6 Deep Learning深度学习可视化工具

其他

-1. 其他的工业缺陷数据集。
-2.其他的数据集划分的参考资料。
（1）https://github.com/jfilter/split-folders
（2）Python划分图像文件夹为训练集、验证集和测试集