精华内容
下载资源
问答
  • 掌握Windows系统基于深度学习的目标检测训练自己的数据集方法 掌握labelImg图像标注方法 掌握YOLOv4数据集整理方法 掌握YOLOv4训练、测试、性能统计方法 掌握训练好的网络模型在前端软件的测试与应用 掌握前端...

    你将收获

    掌握Windows系统基于深度学习的目标检测训练自己的数据集方法

    掌握labelImg图像标注方法

    掌握YOLOv4数据集整理方法

    掌握YOLOv4训练、测试、性能统计方法

    掌握训练好的网络模型在前端软件的测试与应用

    掌握前端软件把检测结果传给PLC或机器人的通讯方法

    适用人群

    对人工智能机器视觉与对YOLOv4目标检测感兴趣的朋友们和从业者

    软件环境:

    Windows7或10 x64; cuda 10.2; cudnn7.6.5; Python3.7; VisualStudio2019; OpenCV4.3;MVS;智能AI图像检测系统

    YOLOv4来了!速度和精度双提升!

    与 YOLOv3 相比,新版本的 AP (精度)和 FPS (每秒帧率)分别提高了 10% 和 12%。

    YOLOv4不仅识别目标效果出众,而且在缺陷检测方面也有独到之处,本人刚好有个磁块的缺口裂缝缺陷的检测项目,本着试试看的想法用,学习一下YOLOv4,结果效果出奇的好,解决传统视觉无法解决的背景干扰与误判问题,现在把整个项目实施方法记录一下供大家参考,并把推理部分做成app可执行文件,供大家评鉴,欢迎交流沟通。

    YOLO系列是基于深度学习的端到端实时目标检测方法。本文将手把手地教大家使用labelImg标注和使用YOLOv4训练自己的数据集。

    本文的YOLOv4训练软件使用AlexyAB/darknet的原版软件在OpenCV4.3和VisualStudio2019编译出来(末尾提供以编译好软件,不会编译的朋友可以直接用,下一步开发一个更友好的软件给大家,敬请关注),在Windows系统上做项目演示。包括:安装软件环境、安装YOLOv4、标注自己的数据集、整理自己的数据集、修改配置文件、训练自己的数据集、安装前端推理软件,测试训练出的网络模型、逻辑判断、检测结果与PLC输出。

    本文的前端推理软件采用VisualStudio2015开发; 集成了OpenCV4.4及多种机器视觉算法与sql数据库、modbus、三菱mc协议、http等通讯功能,可以在免GPU下运行,i5处理器速度在100ms以内,基本可以满足实时性的要求。

    安装软件环境

    找一台独立显卡的主机,我的配置是windows10 64bit I5 8G,GeForce 1650S 4G显存(这里训练YOLOv4 Tiny就够了,训练YOLOv4标准版方法相同,显存要8G以上)。

    安装cuda10.2,下载地址CUDA Toolkit 10.2 Download | NVIDIA Developer

    安装后可以打开nvidia的控制面板的系统信息,如下

     解压缩本文附件中下载的训练开发包(根据AlexyAB/darknet的原版软件在OpenCV4.3和VisualStudio2019编译出来)到本地电脑中,路径保持和我电脑一样。

    把自己要训练的图片集复制到darknet-master-V4\VOCdevkit\VOC2009\JPEGImages中,图片需要彩色图片。附件里已经有一份磁铁缺陷的数据集。

     给图片标记缺陷位置和类型:打开LabelImg软件(附件中可以下载)

    在LabelImg中点击“Open Dir”打开数据集图片所在的文件夹为darknet-master-V4\VOCdevkit\VOC2009\JPEGImages,如下图

    在LabelImg中点击“Change Save Dir”按钮,选择保存标签数据的路径为E:\ylhwork\pycharm\darknet-master-V4\VOCdevkit\VOC2009\Annotations,如下图

    配置好路径后,就可以开始标记了,软件的右下角会目录下的图片列表,点击软件左侧的 左右箭头可以切换下一张图片查看标记,软件左下角按钮可以添加编辑标记。

    标签名字暂时只能用中文,标签的名字要记住,后面还要用,本项目定义了三类标签,名字分别为rip、gap、label,如图

    有缺陷的要标记,没有缺陷的图片或者不想训练的图片,不用标记,把所有图片都标记完后,进行下一步转化工作

    标记好的图片和标记数据转化成可训练模式都放在一个python脚本里,需要先装一个python程序(下一步我会开发一个更友好的软件,敬请关注),本文附件提供下载。在安装完python的电脑里,用文本编辑器打开E:/ylhwork/pycharm/darknet-master-V4/VOCdevkit/VOC2009/helmet-label.py,编辑classes的内容要与标记的名字和数量一样

    运行python的脚本程序:python.exe E:/ylhwork/pycharm/darknet-master-V4/VOCdevkit/VOC2009/helmet-label.py,或者在python的IDE里点击run

     如果运行成功的话,标记的工作就完成了,在E:\ylhwork\pycharm\darknet-master-V4\VOCdevkit\VOC2009\labels文件夹下会出现转化好的文件

    离最后训练的工作只需要最后2步了,编辑配置文件:在\darknet-master-V4\build\darknet\x64\cfg下,复制一个yolov4-tiny-xxx-train.cfg作为你的配置文件,搜索[yolo]关键字附近,修改classes的实际数量和filters的数量为(3*classes+5),如下图

    修改分类名称: 在\darknet-master-V4\build\darknet\x64\data下开打names文件进行编辑,内容和次序要和python脚本里的名称一致

    修改data文件:darknet-master-V4\build\darknet\x64\data下复制一个data文件,检查图片路径、names路径等是否与前面设置一致

    所有配置信息保存好后,为训练命令建一条命令脚本yolov4_tiny_train_magnate.cmd;训练命令格式为:

    darknet.exe detector train data/magnate.data cfg/yolov4-tiny-magnate-train.cfg yolov4-tiny.conv.29  -gups 0,1,2,3

    所有预备工作都做完了,点击yolov4_tiny_train_magnate.cmd文件,软件开始执行训练命令,正常会显示一张图表界面和一个不断刷新数据的命令行界面

     如果有问题,几分钟内就会报错,一般的错误主要是文件找不到或者内存不够等,请仔细检查以上步骤的所有文件名和路径,如果是内存不够,可以修改cfg配置文件中前几行中的
    batch和subdivisions的数字后,再试。

    如果数据一直在刷新,恭喜你成功了,一般训练需要几个小时(看主机配置),我一般让他跑一晚上,明天早上来看,请保证硬盘有2G以上空余空间。几个小时后,比较完美的表格图片样子应该是不断收敛的曲线,如下图

    查看训练出来的模型文件:\darknet-master-V4\build\darknet\x64\backup下会有多问weights文件,一般最后一个是最好的

    训练结束了,现在可以测试训练结果了,复制一份刚才训练的cfg配置文件yolov4-tiny-magnate-train.cfg为yolov4-tiny-magnate-test.cfg,修改3,4,6,7行后保存

    保存yolov4-tiny-magnate-test.cfg,magnate.names和yolov4-tiny-magnate-train_last.weights三个文件备用。

    现在用编译好的前端可执行软件来测试训练效果(可以在无GPU电脑中运行),下载程序后依次安装VC运行库,MVS驱动和应用程序

    双击智能AI图像软件中exe可执行文件,打开前端软件,如果提示缺少dll文件,可能是你没有安装vc运行库或mvs驱动库,请先安装前两步

    打开软件进入主界面后,点击切换到设定模式,先添加测试图像来源,我们先选择文件图像测试,测试ok后,可以把文件改成相机图像

     在文件图像工具里,我们选择文件路径模式,把训练时的文件夹路径添加进来后

     点确定回到设定界面时,再点击工具追加按钮,添加一个深度识别工具,点击追加

    在深度识别工具里,添加刚才yolov4-tiny-magnate-test.cfg,magnate.names和yolov4-tiny-magnate-train_last.weights路径到设置界面中

    在标签设置界面里,设置每个标签对应的现实名,我们喜欢修改成中文名,点击执行检测按钮,可以参考执行效果

    点击确定后,回到设定主界面,点击运行按钮可以测试执行效果,我们再添加OK/NG判断逻辑,在设定主界面点击IO按钮,添加CCD判定条件和综合判定条件

    点击确定按钮,回到设定主界面,点击运行按钮,测试整体运行效果

    测试效果OK后,保存整个项目文件到硬盘中,可以下次或在实际项目中用

    总结:

    训练后的模型在前端推理软件里,在纯i5以上CPU下,识别时间小于100ms,在gpu环境下识别时间小于10ms,肉眼可见的缺陷99%都识别出来,取得了比较的好的检测效果。本前端软件稍作修改后,即可用于实际项目中。

    不足:

    目前训练环境目前还不够优化,下一步会开发一个一步到位的更加高效的训练软件,敬请关注。用了一个下午终于把整个项目过程说明了,操作说明和软件有不足之处还请大家多多包涵和评判,共同进步。

    附件:

    本文所有软件例程和数据集下载地址,

    百度链接:https://pan.baidu.com/s/1YPjR_TPJYLmriXNVnNbgZg 提取码:52ai 

    坚果云下载:https://www.jianguoyun.com/p/DX4bfMUQgo_4CBjWysgD

    其他下载地址:[以下隐藏,回复后可见] 

    展开全文
  • 2017年12月天池工业ai比赛的初赛数据集,一共包括训练集、测试集A、测试集B
  • 这是一个博客中学习。用到的数据集,来源于竞赛的数据集,并无侵权行为,仅供学习练习,学习使用svm进行图像分类的实例
  • a) 传感器高频数据:该数据来自于模温机及模具传感器采集的数据,文件夹内每一个模次对应一个csv文件,单个模次时长为40~43s,采样频率根据阶段有20Hz和50Hz两种,含有24个传感器采集的数据; b) 成型机状态数据...
  • 全网最全开源工业缺陷数据集汇总

    千次阅读 2020-08-24 10:15:46
    点击上方蓝色字体,关注我们本文目前汇总了常见的24个开源工业缺陷数据集。由于公众号添加超链接受限,为获得更好的阅读体验,可点击阅读原文,查看发布在知乎上的文章:1、东北大学热轧带钢表面缺...

    点击上方蓝色字体,关注我们

    本文目前汇总了常见的24个开源工业缺陷数据集。由于公众号添加超链接受限,为获得更好的阅读体验,可点击阅读原文,查看发布在知乎上的文章:

    1、东北大学热轧带钢表面缺陷数据集

    该数据集是东北大学的宋克臣等几位老师收集的,一共包含了三类数据,官网有时打不开,三种缺陷数据集我都我保存到了百度网盘里

    官方链接:

    http://faculty.neu.edu.cn/me/songkc/Vision-based_SIS_Steel.html

    百度网盘链接:

    链接:https://pan.baidu.com/s/1bAKoSG7VHE98JdHJPGJvcw

    提取码:ibje

    (1)NEU surface defect database

    数据集收集了夹杂、划痕、压入氧化皮、裂纹、麻点和斑块6种缺陷,每种缺陷300张,图像尺寸为200×200。数据集包括分类和目标检测两部分,不过目标检测的标注中有少量错误,需要注意。部分示例如下:

    (2)Micro surface defect database

    微小型的带钢缺陷数据,缺陷只有约6×6个像素大小

    (3)Oil pollution defect database

    油污干扰的硅钢表面缺陷数据集

    2、Kaggle中谢韦尔钢铁公司提供的带钢缺陷数据集

    该数据集中提供了四种类型的带钢表面缺陷。训练集共有12568张,测试集5506张。图像尺寸为1600×256。如果有学术研究的需要,可以无限制使用,请将PAO Severstal指定为数据集所有者。

    官方链接:https://www.kaggle.com/c/severstal-steel-defect-detection/data

    本来想传到百度网盘供大家下载的,奈何500个文件以上需要超级会员。。。上万张图片,数量实在是太多了,没法手动上传。

    3、UCI Steel Plates Faults Data Set

    该数据集包含了7种带钢缺陷类型。这个数据集不是图像数据,而是带钢缺陷的28种特征数据,可用于机器学习项目。

    官方链接:https://archive.ics.uci.edu/ml/datasets/Steel+Plates+Faults

    百度网盘链接:

    链接:https://pan.baidu.com/s/1VhEW8xodv5XhTnBKoz5Z_w

    提取码:9uv2

    4、DAGM 2007数据集

    该数据集是人为生成的,一共包含了10个class,图像大小为512×512。该数据集为部分示例如下:

    官方链接:https://hci.iwr.uni-heidelberg.de/content/weakly-supervised-learning-industrial-optical-inspection

    百度网盘链接:

    链接:https://pan.baidu.com/s/1EyK3flXj2S9Uyooi10HsCA

    提取码:j9qz

    5、磁瓦缺陷数据集

    中国科学院自动所一个课题组收集的数据集,是“Saliency of magnetic tile surface defects”这篇论文的数据集。收集了6种常见磁瓦缺陷的图像,并做了语义分割的标注。

    官方链接:https://github.com/abin24/Magnetic-tile-defect-datasets

    百度网盘链接:

    链接:https://pan.baidu.com/s/1iuSHXoVJT-eInFh9xNzEyw

    提取码:ky8i

    6、Kolektor 表面缺陷数据集

    该数据集是Kolektor Group收集并标注的电子换向器缺陷数据集。数据集中包含了50种编写的电子换向器,每种有8张图片以及其语义分割的label。图像的大小为500×1240像素。为了更方便的训练,需提前将图像调整为512×1408。

    官方链接:https://www.vicos.si/Downloads/KolektorSDD

    百度网盘链接:

    链接:https://pan.baidu.com/s/1HSzHC1ltHvt1hSJh_IY4Jg

    提取码:1zlb

    7、铁轨表面缺陷数据集

    RSDDs数据集包含两种类型的数据集:第一种是从快车道捕获的I型RSDDs数据集,其中包含67个具有挑战性的图像。第二个是从普通/重型运输轨道捕获的II型RSDDs数据集,其中包含128个具有挑战性的图像。

    两个数据集的每幅图像至少包含一个缺陷,并且背景复杂且噪声很大。

    RSDDs数据集中的这些缺陷已由一些专业的人类观察员在轨道表面检查领域进行了标记。

    官方链接:http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx

    百度网盘链接:

    链接:https://pan.baidu.com/s/1svsnqL0r1kasVDNjppkEwg

    提取码:nanr

    8、水泥道路裂缝数据集

    主要针对水泥路面的裂缝检测,可用于分类、分割和Detection

    官方链接:https://github.com/cuilimeng/CrackForest

    百度网盘链接:

    链接:https://pan.baidu.com/s/19qEBt0JDLs1v6jS5y8HJhQ

    提取码:7nzx

    9、桥梁裂缝图像数据

    桥梁裂缝的检测数据:

    百度网盘链接:

    链接:https://pan.baidu.com/s/1z-y3GhsWmbqzezD-eZSL-A

    提取码:z493

    10、混凝土表面裂纹缺陷数据集

    数据集包含带有和不带有裂纹的各种混凝土表面的图像。图像数据在单独的文件夹中分为负片(无裂纹)和正片(无裂纹)两部分,用于图像分类。每个类别有20000张图像,总共40000张图像,带227 x 227像素的RGB通道。

    官方链接:https://www.kaggle.com/arunrk7/surface-crack-detection

    11、天池铝型材表面缺陷数据集

    2018年阿里天池大赛,广东工业智造大数据创新大赛—智能算法赛中提供的数据集。

    官方链接:https://tianchi.aliyun.com/competition/entrance/231682/information

    百度网盘链接:

    链接:https://pan.baidu.com/s/1jnSwJ2xRzdSplUtvTbuIuw

    提取码:i10s

    12、天池纺织品表面异常数据集

    在布匹的实际生产过程中,由于各方面因素的影响,会产生污渍、破洞、毛粒等瑕疵,为保证产品质量,需要对布匹进行瑕疵检测。布匹疵点检验是纺织行业生产和质量管理的重要环节,目前人工检测易受主观因素影响,缺乏一致性;并且检测人员在强光下长时间工作对视力影响极大。由于布匹疵点种类繁多、形态变化多样、观察识别难道大,导致布匹疵点智能检测是困扰行业多年的技术瓶颈。本数据涵盖了纺织业中布匹的各类重要瑕疵,每张图片含一个或多种瑕疵。数据包括包括素色布和花色布两类,其中,素色布数据约8000张,用于初赛;花色布数据约12000张,用于复赛。

    百度网盘链接:

    链接:https://pan.baidu.com/s/1eRCCpQhkH05gBTaDkdSAAw

    提取码:2j46

    13、KTH-TIPS database

    瑞典皇家理工学院提供的背景纹理数据集,类型包括砂纸、铝箔、发泡胶、海绵、灯芯绒、亚麻、棉、黑面包、橙皮和饼干共10类。

    百度网盘链接:

    链接:https://pan.baidu.com/s/10essXdRrZtlx4CcSirq6Kw

    提取码:am65

    14、印刷电路板(PCB)瑕疵数据集

    这是一个公共的合成PCB数据集,由北京大学发布,其中包含1386张图像以及6种缺陷(缺失孔,鼠标咬伤,开路,短路,杂散,伪铜),用于检测,分类和配准任务。

    官方链接:http://robotics.pkusz.edu.cn/resources/dataset/

    百度网盘链接:https://pan.baidu.com/s/1hoPNd7_SAxOWa2XbBZZuTg

    15、AITEX数据集

    该数据库由七个不同织物结构的245张4096 x 256像素图像组成。数据库中有140个无缺陷图像,每种类型的织物20个,除此之外,有105幅纺织行业中常见的不同类型的织物缺陷(12种缺陷)图像。图像的大尺寸允许用户使用不同的窗口尺寸,从而增加了样本数量。Internet上的数据库还包含所有具有缺陷的图像的分割mask,使得白色像素表示缺陷区域,其余像素为黑色。

    官方链接:https://www.aitex.es/afid/

    百度网盘链接:

    链接:https://pan.baidu.com/s/1u-trbeeN_-5GceDVQekyhA

    提取码:z9yc

    16、Kylberg Texture Dataset v. 1.0

    28种纹理图像,每一种有160个独特的纹理。图像大小为576x576像素。

    官方链接:http://www.cb.uu.se/~gustaf/texture/

    17、输电线路绝缘子数据集

    数据集中,Normal_Insulators包含由无人机捕获的绝缘子图像,数量为600张。

    Defective_Insulators包含有缺陷的绝缘体,绝缘子缺陷图像的数量为248张。

    数据集中包括数据集和标签。

    官方链接:https://github.com/InsulatorData/InsulatorDataSet

    18、百度AI Studio中的数据集

    百度AI Studio中有很多的数据集,可以直接去搜索:

    https://aistudio.baidu.com/aistudio/index

    例如:

    布匹缺陷数据集:

    https://aistudio.baidu.com/aistudio/datasetdetail/31076

    瓷砖缺陷数据集:

    https://aistudio.baidu.com/aistudio/datasetdetail/32615

    绝缘子自爆缺陷图像:

    https://aistudio.baidu.com/aistudio/datasetdetail/33087

    工业缺陷检测:

    https://aistudio.baidu.com/aistudio/datasetdetail/47124

    PCB缺陷检测:

    https://aistudio.baidu.com/aistudio/datasetdetail/49931

    手扶电梯梯级缺陷:

    https://aistudio.baidu.com/aistudio/datasetdetail/44820

    19、CV Datasets on the web

    汇总了CV领域的常见数据集,与工业缺陷的关系不大。

    官方链接:

    http://www.cvpapers.com/datasets.html

    文章精选

    业党福利:使用PaddleX高效实现指针型表计读取系列文章(1

    使PaddleX2

    POC

    知乎:李是Lyapunov的李

    微信:yikeAI14539

    添加微信 加入一刻AI交流群

    展开全文
  • a) 传感器高频数据:该数据来自于模温机及模具传感器采集的数据,文件夹内每一个模次对应一个csv文件,单个模次时长为40~43s,采样频率根据阶段有20Hz和50Hz两种,含有24个传感器采集的数据; b) 成型机状态数据...
  • 目前, 基于机器视觉的表面缺陷装备已经在各工业领域广泛替代人工肉眼检测,包括3C、汽车、家电、机械制造、半导体及电子、化工、医药、航空航天、轻工等行业。传统的基于机器 视觉的表面缺陷检测方法,往往采用常规...

    文章转自https://www.jiqizhixin.com/articles/2020-10-25-3
    以备后用,非常感谢!

    目前, 基于机器视觉的表面缺陷装备已经在各工业领域广泛替代人工肉眼检测,包括3C、汽车、家电、机械制造、半导体及电子、化工、医药、航空航天、轻工等行业。传统的基于机器 视觉的表面缺陷检测方法,往往采用常规图像处理 算法或人工设计特征加分类器方式。一般来说,通常利用被检表面或缺陷的不同性质进行成像方案的设计,合理的成像方案有助于获得光照均匀的图像,并将物体表面缺陷明显的体现出来。近年来,不少基于深度学习的缺陷检测方法也被广泛应用在各种工业场景中。

    对比计算机视觉中明确的分 类、检测和分割任务, 缺陷检测的需求非常笼统. 实 际上, 其需求可以划分为三个不同的层次: “缺陷是什么”(分类)、“缺陷在哪里”(定位)和“缺陷是多少”(分割)。

    一、表面缺陷检测关键问题

    1、小样本问题

    目前深度学习方法广泛应用在各种计算机视觉 任务中, 表面缺陷检测一般被看作是其在工业领域的具体应用。在传统的认识中, 深度学习方法无法直接应用在表面缺陷检测中的原因是因为在真实的 工业环境中, 所能提供的工业缺陷样本太少。

    相比于ImageNet数据集中1400多万张样本数据, 表面缺陷检测中面临的最关键的问题是小样本问题, 在很多真实的工业场景下甚至只有几张或几十张缺陷图片。 实际上, 针对于工业表面缺陷检测中关键问题之 一的小样本问题, 目前有4种不同的解决方式:

    1)数据扩增、生成

    最常用的缺陷图像扩 增方法是对原始缺陷样本采用镜像、旋转、平移、扭曲、滤波、对比度调整等多种图像处理操作来获取 更多的样本。另外一种较为 常见方法是数据合成, 常常将单独缺陷融合叠加到 正常(无缺陷)样本上构成缺陷样本。

    2)网络预训练与迁移学习

    一般来说,,采用小样本来训练深度学习网络很容易导致过拟合, 因此 基于预训练网络或迁移学习的方法是目前针对样 本中最常用的方法之一。

    3)合理的网络结构设计

    通过设计合理的网络 结构也可以大大减少样本的需求。基于压缩采样定理来压缩和扩充小样本数据, 使 用CNN直接对压缩采样的数据特征进行分类. 相比 于原始的图像输入, 通过对输入进行压缩采样能大 大降低网络对样本的需求. 此外, 基于孪生网络的表 面缺陷检测方法也可以看作是一种特殊的网络设计, 能够大幅减少样本需求。

    4)无监督或半监督

    在无监督模型中, 只利用正 常样本进行训练, 因此不需要缺陷样本. 半监督方法 可以利用没有标注的样本来解决小样本情况下的网络训练难题。

    2、实时性问题

    基于深度学习的缺陷检测方法在工业应用中包括三个主要环节: 数据标注、模型训练与模型推断. 在实际工业应用中的实时性更关注模型推断这一环节. 目前大多数缺陷检测方法都集中在分类或 识别的准确性上, 而很少关注模型推断的效率。有不少方法用于加速模型, 例如模型权重量化和模型剪枝等。另外,虽然现有深度学习模型 使用GPU作为通用计算单元, 但随着技术发展, 相信FPGA会成为一个具有吸引力的替代方案。

    二、工业表面缺陷检测常用数据集

    1)钢材表面:NEU-CLS(可用于分类、定位任务)

    数据集地址
    在这里插入图片描述
    由东北大学(NEU)发布的表面缺陷数据库,收集了热轧钢带的六种典型表面缺陷,即轧制氧化皮(RS),斑块(Pa),开裂(Cr),点蚀表面( PS),内含物(In)和划痕(Sc)。该数据库包括1,800个灰度图像:六种不同类型的典型表面缺陷,每一类缺陷包含300个样本。对于缺陷检测任务,数据集提供了注释,指示每个图像中缺陷的类别和位置。对于每个缺陷,黄色框是指示其位置的边框,绿色标签是类别分数。
    检测效果图

    2)太阳能板:elpv-dataset

    地址:https://github.com/zae-bayern/elpv-dataset
    在这里插入图片描述

    3)金属表面:KolektorSDD

    该数据集是由Kolektor Group提供并注释的有缺陷的电子换向器的图像构成的。

    具体地说,

    在电子换向器中嵌入的塑料表面上观察到了微小的碎裂或裂缝;
    在八个不重叠的图像中捕获每个换向器的表面积;
    在受控环境中捕获图像。
    在这里插入图片描述
    官方链接:https://www.vicos.si/Downloads/KolektorSDD

    百度网盘链接:https://pan.baidu.com/share/init?surl=HSzHC1ltHvt1hSJh_IY4Jg
    (提取码:1zlb)

    该数据集包括:
    50个例如变形的电子换向器的物理属性;
    每一个中包含8个表面;
    总共399张图片;
    – 52张有可见缺陷的图像;
    – 347张没有任何缺陷;
    原始尺寸图片:
    – 宽度:500 px
    – 高度:从1240到1270像素
    为了进行训练和评估,图片的尺寸应调整为512 x 1408像素
    对于每一个,缺陷仅在至少一张图像中可见,而有两个在图像上有缺陷就意味着有52张图像可见缺陷。其余347张图像用作表面无缺陷的负样本。

    4)PCB板检测:DeepPCB

    地址:https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB

    在这里插入图片描述

    5)AITEX数据集(面料缺陷)

    数据集下载链接:

    https://pan.baidu.com/s/1cfC4Ll5QlnwN5RTuSZ6b7w (提取码:b9uy)

    该数据库由七个不同织物结构的245张4096 x 256像素图像组成。数据库中有140个无缺陷图像,每种类型的织物20个,除此之外,有105幅纺织行业中常见的不同类型的织物缺陷(12种缺陷)图像。图像的大尺寸允许用户使用不同的窗口尺寸,从而增加了样本数量。Internet上的数据库还包含所有具有缺陷的图像的分割mask,使得白色像素表示缺陷区域,其余像素为黑色。

    在这里插入图片描述

    6)天池布匹缺陷数据(竞赛)

    数据下载链接:

    https://pan.baidu.com/s/1LMbujxvr5iB3SwjFGYHspA (提取码:gat2)

    在布匹的实际生产过程中,由于各方面因素的影响,会产生污渍、破洞、毛粒等瑕疵,为保证产品质量,需要对布匹进行瑕疵检测。布匹疵点检验是纺织行业生产和质量管理的重要环节,目前人工检测易受主观因素影响,缺乏一致性;并且检测人员在强光下长时间工作对视力影响极大。由于布匹疵点种类繁多、形态变化多样、观察识别难道大,导致布匹疵点智能检测是困扰行业多年的技术瓶颈。本数据涵盖了纺织业中布匹的各类重要瑕疵,每张图片含一个或多种瑕疵。数据包括包括素色布和花色布两类,其中,素色布数据约8000张,用于初赛;花色布数据约12000张,用于复赛。

    7)天池铝型材表面瑕疵数据集(竞赛)

    数据集下载链接:

    https://tianchi.aliyun.com/competition/entrance/231682/information
    (需注册。论坛中可看到各中解决方案)

    数据集介绍:在铝型材的实际生产过程中,由于各方面因素的影响,铝型材表面会产生裂纹、起皮、划伤等瑕疵,这些瑕疵会严重影响铝型材的质量。为保证产品质量,需要人工进行肉眼目测。然而,铝型材的表面自身会含有纹路,与瑕疵的区分度不高。传统人工肉眼检查十分费力,不能及时准确的判断出表面瑕疵,质检的效率难以把控。近年来,深度学习在图像识别等领域取得了突飞猛进的成果。铝型材制造商迫切希望采用最新的AI技术来革新现有质检流程,自动完成质检任务,减少漏检发生率,提高产品的质量,使铝型材产品的生产管理者彻底摆脱了无法全面掌握产品表面质量的状态。大赛数据集里有1万份来自实际生产中有瑕疵的铝型材监测影像数据,每个影像包含一个或多种瑕疵。供机器学习的样图会明确标识影像中所包含的瑕疵类型。
    在这里插入图片描述

    8)弱监督学习下的工业光学检测(DAGM 2007) Weakly Supervised Learning for Industrial Optical Inspection

    数据下载链接:

    https://hci.iwr.uni-heidelberg.de/node/3616(需注册)

    在这里插入图片描述

    数据集介绍:

    主要针对纹理背景上的杂项缺陷。

    较弱监督的训练数据。

    包含是个数据集,前六个为训练数据集,后四个为测试数据集。

    每个数据集均包含以灰度8位PNG格式保存的1000个“无缺陷”图像和150个“有缺陷”图像。每个数据集由不同的纹理模型和缺陷模型生成。

    “无缺陷”图像显示的背景纹理没有缺陷,“无缺陷”图像的背景纹理上恰好有一个标记的缺陷。

    所有数据集已随机分为大小相等的训练和测试子数据集。

    弱标签以椭圆形表示,大致表示缺陷区域。

    9)基建表面裂纹检测数据 Cracks on the surface of the construction.

    数据集是github上的一个项目,主要是一些基建(水泥表面裂纹),可以访问项目连接:https://github.com/cuilimeng/CrackForest-dataset 或者百度云链接:https://pan.baidu.com/s/1108j5QbDr7T3XQvDxAzVpg (提取码:jajn)下载。

    在这里插入图片描述
    桥梁裂缝. 有2688张没有像素级地面真实情况的桥梁裂缝图像,来自于"Liangfu Li, Weifei Ma, Li Li, Xiaoxiao Gao". 数据集可通过此链接访问

    路面裂缝. 该数据集来自于 Shi Yong, and Cui Limeng and Qi Zhiquan and Meng Fan and Chen Zhensong. 原始数据集可通过此链接访问. 我们提取像素级地面真相的图像文件。

    10)磁瓦缺陷数据集 Magnetic tile dataset

    该数据集是由abin2收集的,现已开源,你可以从这下载,它被用在了论文"Surface defect saliency of magnetic tile"中。
    在这里插入图片描述
    这同样也是论文“Saliency of magnetic tile surface defects”的数据集,它收集了6个常见磁砖缺陷的图像,并标记了它们的像素级地面真相。

    11)铁轨表面缺陷数据集 RSDDs dataset

    RSDDs数据集包含两种类型的数据集:第一种是从快车道捕获的I型RSDDs数据集,其中包含67个具有挑战性的图像。第二个是从普通/重型运输轨道捕获的II型RSDDs数据集,其中包含128个具有挑战性的图像。

    两个数据集的每幅图像至少包含一个缺陷,并且背景复杂且噪声很大。

    RSDDs数据集中的这些缺陷已由一些专业的人类观察员在轨道表面检查领域进行了标记。

    在这里插入图片描述
    官方链接:http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx

    链接:https://pan.baidu.com/share/init?surl=svsnqL0r1kasVDNjppkEwg (提取码:nanr)

    12)Kylberg纹理数据集 v.1.0
    在这里插入图片描述
    该数据集:

    28个纹理类,请参见图4。
    每个分类下有160个独特的纹理补丁。(每个原始补丁有12个旋转的替代数据集,每个类160 * 12 = 1920个纹理补丁)
    纹理补丁大小:576x576像素。
    文件格式:无损压缩8位PNG。
    所有补丁均以127的平均值和40的标准偏差进行标准化。
    每个纹理类一个目录。
    文件的命名如下:blanket1-d-p011-r180.png,其中blanket1是类名,d是原始图像样本编号(可能的值是a,b,c或d),p011是补丁编号11,r180补丁旋转了180度。
    官方链接:http://www.cb.uu.se/~gustaf/texture/

    展开全文
  • 欢迎大家关注我的公众号:一刻AIhttp://weixin.qq.com/r/kChDW_bEAbt_raI4932C (二维码自动识别)本文目前汇总了常见的24个开源工业缺陷数据集,持续更新中(欢迎大家留言补充,共同建设一个为大家提供便利的文章)1...

    欢迎大家关注我的公众号:一刻AI

    weixin.qq.com/r/kChDW_b (二维码自动识别)

    本文目前汇总了常见的24个开源工业缺陷数据集,持续更新中

    (欢迎大家留言补充,共同建设一个为大家提供便利的文章)

    1、东北大学热轧带钢表面缺陷数据集

    官方链接:Vision-based SIS for steel

    该数据集是东北大学的宋克臣等几位老师收集的,一共包含了三类数据,官网有时打不开,三种缺陷数据集我都我保存到了百度网盘里

    百度网盘链接:

    链接:pan.baidu.com/s/1bAKoSG

    提取码:ibje

    (1)NEU surface defect database

    数据集收集了夹杂、划痕、压入氧化皮、裂纹、麻点和斑块6种缺陷,每种缺陷300张,图像尺寸为200×200。数据集包括分类和目标检测两部分,不过目标检测的标注中有少量错误,需要注意。部分示例如下:

    v2-2f83045e18dd30037fafd77c9e80e362_b.jpg

    (2)Micro surface defect database

    微小型的带钢缺陷数据,缺陷只有约6×6个像素大小

    v2-cb64ed32820ef19ccb400e70d766a2d7_b.jpg

    (3)Oil pollution defect database

    油污干扰的硅钢表面缺陷数据集

    v2-ba9d95ba0d0ba48c64b42b5713195d2c_b.jpg

    2、Kaggle中谢韦尔钢铁公司提供的带钢缺陷数据集

    该数据集中提供了四种类型的带钢表面缺陷。训练集共有12568张,测试集5506张。图像尺寸为1600×256。

    v2-bbe91e2a03515c8e0c538d0e2eef4a80_b.png
    谢韦尔带钢缺陷数据集

    有如果有学术研究的需要,可以无限制使用,请将PAO Severstal(https://www.severstal.com/)指定为数据集所有者。

    官方链接:kaggle.com/c/severstal-

    本来想传到百度网盘供大家下载的,奈何500个文件以上需要超级会员。。。上万张图片,数量实在是太多了,没法手动上传。

    3、UCI Steel Plates Faults Data Set

    该数据集包含了7种带钢缺陷类型。这个数据集不是图像数据,而是带钢缺陷的28种特征数据,可用于机器学习项目。

    v2-0435eb358db96a83621bb1f5877b96e4_b.jpg

    官方链接:archive.ics.uci.edu/ml/

    百度网盘链接:

    链接:pan.baidu.com/s/1VhEW8x

    提取码:9uv2

    4、DAGM 2007数据集

    该数据集是人为生成的,一共包含了10个class,图像大小为512×512。该数据集为部分示例如下:

    v2-5a3a887eb2657be0e5f250c9616fcc06_b.jpg

    官方链接:hci.iwr.uni-heidelberg.de

    百度网盘链接:

    链接:pan.baidu.com/s/1EyK3fl

    提取码:j9qz

    5、磁瓦缺陷数据集

    中国科学院自动所一个课题组收集的数据集,是“Saliency of magnetic tile surface defects”这篇论文的数据集。收集了6种常见磁瓦缺陷的图像,并做了语义分割的标注。

    v2-0b0768b8d1b1efa3d07993cc35850ea4_b.jpg

    官方链接:github.com/abin24/Magne

    百度网盘链接:

    链接:pan.baidu.com/s/1iuSHXo

    提取码:ky8i

    6、Kolektor 表面缺陷数据集

    该数据集是Kolektor Group收集并标注的电子换向器缺陷数据集。数据集中包含了50种编写的电子换向器,每种有8张图片以及其语义分割的label。图像的大小为500×1240像素。为了更方便的训练,需提前将图像调整为512×1408。

    v2-4142ec1443c74ae34dc6ef3ab9c51874_b.jpg

    官方链接:vicos.si/Downloads/Kole

    百度网盘链接:

    链接:pan.baidu.com/s/1HSzHC1

    提取码:1zlb

    7、铁轨表面缺陷数据集

    RSDDs数据集包含两种类型的数据集:第一种是从快车道捕获的I型RSDDs数据集,其中包含67个具有挑战性的图像。第二个是从普通/重型运输轨道捕获的II型RSDDs数据集,其中包含128个具有挑战性的图像。

    两个数据集的每幅图像至少包含一个缺陷,并且背景复杂且噪声很大。

    RSDDs数据集中的这些缺陷已由一些专业的人类观察员在轨道表面检查领域进行了标记。

    v2-cadf44886f57e591be653422cbd4293a_b.jpg

    官方链接:icn.bjtu.edu.cn/Visint/

    百度网盘链接:

    链接:pan.baidu.com/s/1svsnqL

    提取码:nanr

    8、水泥道路裂缝数据集

    主要针对水泥路面的裂缝检测,可用于分类、分割和Detection

    v2-33700aacb0aba9db2c313d3cf438a2b5_b.jpg

    官方链接:cuilimeng/CrackForest

    百度网盘链接:

    链接:pan.baidu.com/s/19qEBt0

    提取码:7nzx

    9、桥梁裂缝图像数据

    桥梁裂缝的检测数据:

    v2-7ffa7170c55b7a49877fead127b88b9a_b.jpg

    百度网盘链接:

    链接:pan.baidu.com/s/1z-y3Gh

    提取码:z493

    10、混凝土表面裂纹缺陷数据集

    数据集包含带有和不带有裂纹的各种混凝土表面的图像。 图像数据在单独的文件夹中分为负片(无裂纹)和正片(无裂纹)两部分,用于图像分类。 每个类别有20000张图像,总共40000张图像,带227 x 227像素的RGB通道。

    v2-e147ef03625593a3a777841bd9eb3e64_b.jpg

    官方链接:kaggle.com/arunrk7/surf

    11、天池铝型材表面缺陷数据集

    2018年阿里天池大赛,广东工业智造大数据创新大赛—智能算法赛中提供的数据集。

    v2-bf0baae227c9dedd219779f8a2a33be7_b.jpg

    官方链接:[飞粤云端2018]广东工业智造大数据创新大赛-智能算法赛赛题与数据-天池大赛-阿里云天池

    百度网盘链接:

    链接:pan.baidu.com/s/1jnSwJ2

    提取码:i10s

    12、天池纺织品表面异常数据集

    在布匹的实际生产过程中,由于各方面因素的影响,会产生污渍、破洞、毛粒等瑕疵,为保证产品质量,需要对布匹进行瑕疵检测。布匹疵点检验是纺织行业生产和质量管理的重要环节,目前人工检测易受主观因素影响,缺乏一致性;并且检测人员在强光下长时间工作对视力影响极大。由于布匹疵点种类繁多、形态变化多样、观察识别难道大,导致布匹疵点智能检测是困扰行业多年的技术瓶颈。本数据涵盖了纺织业中布匹的各类重要瑕疵,每张图片含一个或多种瑕疵。数据包括包括素色布和花色布两类,其中,素色布数据约8000张,用于初赛;花色布数据约12000张,用于复赛。

    百度网盘链接:

    链接:pan.baidu.com/s/1eRCCpQ

    提取码:2j46

    复制这段内容后打开百度网盘手机App,操作更方便哦

    13、KTH-TIPS database

    瑞典皇家理工学院提供的背景纹理数据集,类型包括砂纸、铝箔、发泡胶、海绵、灯芯绒、亚麻、棉、黑面包、橙皮和饼干共10类。

    v2-f0adba1c26a14a25294753f4888f9829_b.jpg

    百度网盘链接:

    链接:pan.baidu.com/s/10essXd

    提取码:am65

    14、印刷电路板(PCB)瑕疵数据集

    这是一个公共的合成PCB数据集,由北京大学发布,其中包含1386张图像以及6种缺陷(缺失孔,鼠标咬伤,开路,短路,杂散,伪铜),用于检测,分类和配准任务。

    v2-abb64f2a791c7e1bc8791e91a484ecd1_b.jpg

    官方链接:北京大学智能机器人开放实验室

    百度网盘链接:pan.baidu.com/s/1hoPNd7

    15、AITEX数据集

    该数据库由七个不同织物结构的245张4096 x 256像素图像组成。数据库中有140个无缺陷图像,每种类型的织物20个,除此之外,有105幅纺织行业中常见的不同类型的织物缺陷(12种缺陷)图像。图像的大尺寸允许用户使用不同的窗口尺寸,从而增加了样本数量。Internet上的数据库还包含所有具有缺陷的图像的分割mask,使得白色像素表示缺陷区域,其余像素为黑色。

    v2-a2ee0f9bb1e4a6b0f74b7ace3815d23e_b.jpg

    官方链接:aitex.es/afid/

    百度网盘链接:

    链接:pan.baidu.com/s/1u-trbe

    提取码:z9yc

    16、Kylberg Texture Dataset v. 1.0

    28种纹理图像,每一种有160个独特的纹理。图像大小为576x576像素。

    v2-e76b6b16135dfde19017d6714205c38f_b.jpg

    官方链接:cb.uu.se/~gustaf/textur

    17、输电线路绝缘子数据集

    数据集中,Normal_Insulators包含由无人机捕获的绝缘子图像,数量为600张。

    Defective_Insulators包含有缺陷的绝缘体,绝缘子缺陷图像的数量为248张。

    数据集中包括数据集和标签。

    v2-cb51b8b23ca2294032ae7386149a1849_b.jpg

    官方链接:InsulatorData/InsulatorDataSet

    18、百度AI Studio中的数据集

    百度AI Studio中有很多的数据集,可以直接去搜索

    Baidu AI Studio - 人工智能学习与实训社区

    v2-1e06b46be082ffdcd1572c422d06495e_b.jpg

    例如:

    布匹缺陷数据集:布匹缺陷数据集:

    瓷砖缺陷数据集:瓷砖缺陷数据集

    绝缘子自爆缺陷图像:绝缘子自爆缺陷图像

    工业缺陷检测:工业缺陷检测

    PCB缺陷检测:PCB缺陷检测

    手扶电梯梯级缺陷:手扶电梯梯级缺陷

    19、CV Datasets on the web

    汇总了CV领域的常见数据集,与工业缺陷的关系不大。

    官方链接:cvpapers.com/datasets.h


    欢迎大家留言补充,共同建设一个为大家提供便利的文章。

    图像分类与检测领域场景的数据集可参考我的另一篇文章:

    李是Lyapunov的李:图像分类与检测领域常用数据集汇总

    展开全文
  • 数据集

    2019-09-25 11:33:43
    慕尼黑工业大学(TUM)提供的RGB-D数据集:https://vision.in.tum.de/data/datasets/rgbd-dataset/download 转载于:https://www.cnblogs.com/Jessica-jie/p/7756446.html
  • 作为个人学习和实验来说,很难获得像工业界那样较高质量的贴近实际应用的大量数据集,这时候一些公开数据集往往就成了大家通往AI路上的反复摩擦的对象。计算机视觉(CV)方向的经典数据集包括MNIST手写数字数据集、...
  • Tianchi开源数据集

    2021-01-26 09:00:09
    淘宝直播商品识别数据集 https://tianchi.aliyun.com/dataset/dataDetail?dataId=75730 阿里巴巴用户行为数据集 https://tianchi.aliyun.com/dataset/dataDetail?dataId=81505 面向商品的视频描述生成数据集 ...
  • modbus数据集

    2018-11-12 16:26:04
    Modbus是一种串行通信协议,是Modicon公司(现在的施耐德电气 Schneider Electric)于1979年为使用可编程逻辑控制器(PLC)通信而发表。Modbus已经成为工业领域通信协议的...自己捕获的以及各种途径得来的modbus数据集.
  • 作为个人学习和实验来说,很难获得像工业界那样较高质量的贴近实际应用的大量数据集,这时候一些公开数据集往往就成了大家通往AI路上的反复摩擦的对象。 深度学习(CV方向)的经典数据集包括MNIST手写数字数据集、...
  • 汇总|缺陷检测数据集

    千次阅读 2020-02-02 16:26:13
    一、弱监督学习下的工业光学检测(DAGM 2007)数据下载链接:https://hci.iwr.uni-heidelberg.de/node/3616数据集介绍: 主要针对纹理背景上的杂项缺陷。 较弱监督的训练数据。 包含是个数据集,前六...
  • C2P工业互联网是通过运用物联网,云计算,大数据等先进技术,建立起的个性化, 数字化,智能化于一体的生产销售模式。 它能带动制造业智能化升级、推动软硬件一体化发展,促进全产业链的智能协作,最终改变制造业...
  • 作为个人学习和实验来说,很难获得像工业界那样较高质量的贴近实际应用的大量数据集,这时候一些公开数据集往往就成了大家通往AI路上的反复摩擦的对象。计算机视觉(CV)方向的经典数据集包括MNIST手写数字数据集、...
  • LCQMC数据集(lcqmc)

    2020-12-10 21:54:58
    哈工大文本匹配数据集,LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问题语义匹配数据集,其目标是判断两个问题的语义是否相同
  • 作为个人学习和实验来说,很难获得像工业界那样较高质量的贴近实际应用的大量数据集,这时候一些公开数据集往往就成了大家通往AI路上的反复摩擦的对象。 深度学习(CV方向)的经典数据集包括MNIST手写数字数据集、...
  • 不过昨天那个对半划分数据集,一半作为训练集,一半作为验证集的划分方式效果实在是令人不敢恭维。。。我是死了心这么分了。到时候毕设答辩的时候拿这个去说简直就是丢死人了。 正文 我这次采用的是以前的那一拨...
  • 摘要:这里介绍其中一种带标签扩充数据集的方法。前言 前一段时间接触了几位用户提的问题,发现很多人在使用训练的时候,给的数据集寥寥无几,有一些甚至一类只有5张图片。modelarts平台虽然给出了每类5张图片就能...
  • EMO-DB数据集是由柏林工业大学录制的德语情感语音库,由10位演员(5男5女)对10个语句(5长5短)进行7种情感(中性/nertral、生气/anger、害怕/fear、高兴/joy、悲伤/sadness、厌恶/disgust、无聊/boredom)的模拟得到,共...
  • 工业数据分析指南

    2019-02-27 16:38:51
    工业大数据是工业领域相关数据集的总称,是工业互联网的核心,是智能制造的关键。工业大数据分析技术作为工业大数据的核心技术之一,是工业智能化发展的重要基础和关键支撑。为此,在工业互联网产业联盟的指导下,...
  • 语义相似度任务数据训练集、验证集、测试集。LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问题语义匹配数据集,用于判断两个问题的语义是否相同。
  • 所谓的工业4.0,是指利用物联信息系统将生产中的供应,制造,销售信息数据化、智慧化,达到快速、有效、个人化的产品供应。对于各大制造行业而言,必将都会受到这股浪潮的影响,机械行业无不例外。面对这一新形势,...
  • 2018广东工业智造大数据创新大赛——智能算法赛 《铝型材表面瑕疵识别》 介绍: 铝型材是佛山南海的支柱性产业。在铝型材的实际生产过程中,由于各方面因素的影响,铝型材表面会产生裂纹、起皮、划伤等瑕疵,...
  • 纸币验证数据集

    2018-10-11 08:40:20
    数据从图像取自真实和伪造钞票像标本中提取。数字化,工业相机通常用于打印检查使用。最终的图像有400x 400像素。由于物镜和距离研究对象灰度图片的分辨率为660 dpi的了。小波变换的工具,用于从图像中提取特征。
  • LCQMC数据集.tar.gz

    2020-04-24 12:01:50
    LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问题语义匹配数据集,其目标是判断两个问题的语义是否相同。构建的方式是先针对不同的领域从百度问答中抽取高频的相关问题,然后通过Wasserstein ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,128
精华内容 451
关键字:

工业数据集