精华内容
下载资源
问答
  • CNN 数据集预处理

    千次阅读 2018-05-11 00:08:49
    vgg 预处理 训练预处理 测试预处理 inception 预处理 训练预处理 测试预处理 ...看各种模型的 paper 发现,图片预处理是...(与对应模型论文描述的数据预处理有出入) vgg 预处理 输入图片 height, width RESIZ...

    看各种模型的 paper 发现,图片预处理是东一句西一句,有的干脆直接就说参考了前面某某某模型,搞得人晕头转向。下面就 Tensorflow 中对各个模型的预处理实现。(与对应模型论文描述的数据预处理有出入)

    vgg 预处理

    输入图片 height, width

    RESIZE_SIDE_MIN = 256

    RESIZE_SIDE_MAX = 512

    R_MEAN = 123.68G_MEAN = 116.78B_MEAN = 103.94

    训练预处理

    1. scale = width < height ? small_size / width : small_size / height 其中 small_size 为 RESIZE_SIDE_MIN 到 RESIZE_SIDE_MAX 的随机数
    2. new_width = width * scale new_height = height * scale
    3. 用二分插值法将 (height, width) 转为 (new_height, new_width)
    4. 将 new_height, new_width 的图片 crop 为 crop_height(224), crop_width(224) 其中必须满足 new_height >= crop_height, new_width >= crop_width
    5. 将图片左右翻转(50% 的概率会翻转)
    6. RGB 分别减去其平均值,其中依次为 R_MEAN, G_MEAN B_MEAN

    测试预处理

    1. 用二分插值法将 (height, width) 转为 (new_height, new_width) 其中 new_height = new_width = 256
    2. 从 crop 中心的 crop_height, crop_width
    3. RGB 分别减去其平均值,其中依次为 R_MEAN, G_MEAN B_MEAN

    采用上述预处理方法的模型

    • resnet_v1_50
    • resnet_v1_101
    • resnet_v1_152
    • resnet_v1_200
    • resnet_v2_50
    • resnet_v2_101
    • resnet_v2_152
    • resnet_v2_200
    • vgg
    • vgg_a
    • vgg_16
    • vgg_19

    inception 预处理

    训练预处理

    1. 对图片进行随机 crop, 使其与 bbox 的重叠部分大于 0.1,长宽比在 (0.75, 1.33) 之间,croped 之后的图片大小为原图的(0.05, 1.0)。
    2. 将 crop 之后的图片大小 resize 为 crop_height(224), crop_width(224)
    3. 将 crop 图片左右翻转(50% 的概率会翻转)
    4. 调整 crop 图片的亮度(32. / 255.)和饱和度(0.5, 1.5)
    5. 每个元素减去 0.5,再乘以 2.0

    测试预处理

    1. central crop
    2. 二分法插值,将图片变为 height, width
    3. 每个元素减去 0.5,再乘以 2.0

    采用上述预处理方法的模型

    • inception
    • inception_v1
    • inception_v2
    • inception_v3
    • inception_v4
    • inception_resnet_v2
    • mobilenet_v1
    • nasnet_mobile
    • nasnet_large
    • pnasnet_large,
    展开全文
  • 凯斯西储大学轴承数据处理+自制CNN数据集

    万次阅读 热门讨论 2019-05-29 11:25:34
    对于凯斯西储大学轴承数据的下载,现在网上随便一个帖子都可以下载到。 在下载数据的时候,发现里面分了正常数据、驱动端、风扇端等类别,然后在具体的某一类,比如驱动端里面又区分了不同类别的故障数据。具体可以...

    对于凯斯西储大学轴承数据的下载,现在网上随便一个帖子都可以下载到。
    在下载数据的时候,发现里面分了正常数据、驱动端、风扇端等类别,然后在具体的某一类,比如驱动端里面又区分了不同类别的故障数据。具体可以参见相关说明,或者参见其他帖子。
    然后下载其中某一个类别的某一个故障数据文件后,文件类型是.mat格式,可以使用MATLAB打开,打开后发现里面又区分了三种类型的数据,在这里插入图片描述
    如上图,这里不太清楚为什么在已经区分了正常、驱动端、风扇端数据类别的情况下,文件里面还要再分成这几类????难道又分了不同位置的故障数据?有点搞不清
    当然,如果需要进行处理这些数据,用来机器学习、CNN的话,并不是需要网站中的所有数据,自然可以只选择我们需要的,比如选择驱动端+0HP的故障数据
    处理数据步骤为:
    ①对于数据的处理,由于轴承信号数据是时间序列的数据,但是在训练使用的时候有些不方便,这里我是把同一类别的数据随机分组,将一维的序列分成二维,具体一组多少数据,看自己分类吧。下载的文件每一个都进行如此操作(可以使用程序在调用数据的时候处理)。
    ②然后将每个类别的数据文件对应建立标签文件。
    ③这样处理之后,每一类故障数据都对应着一个数据文件和一个标签文件,然后将所有类别的数据文件整合到一起组合成训练网络需要的数据集,再将数据集按比例分成训练集和测试集即可。
    以上为使用凯斯西储大学自制数据集的过程,如有错误,还请大佬指点,欢迎交流!!

    展开全文
  • Faster R CNN数据集制作

    2018-07-27 16:02:04
    windows10系统通过cmd安装pyqt时一定要在管理员身份下进行 labelImg是图片标注软件,用于数据集的制作、标注等等。下面介绍labelImg的安装过程。 以下方法比较好用 我用的是anaconda,所以以anaconda prompt作为终端...

    ##第一步:准备图片
    ##第二步:批处理命名图片
    使用图像工具2345看图王等均可完成
    这里写图片描述

    • 修改命名规则,改为#
    • 设置位数为6位,即可
      ##第三步:利用labelImg标记图片
      ###labelImg下载及安装
    • 推荐博客:https://blog.csdn.net/u010807846/article/details/73480628/

    注意:windows10系统通过cmd安装pyqt时一定要在管理员身份下进行
    这里写图片描述
    labelImg是图片标注软件,用于数据集的制作、标注等等。下面介绍labelImg的安装过程。
    以下方法比较好用


    我用的是anaconda,所以以anaconda prompt作为终端:

    在Anaconda Prompt中依次运行以下命令(注意大小写):

    pip install PyQt5 -i https://pypi.tuna.tsinghua.edu.cn/simple/(后面这行是国内的清华镜像源,下载速度才会比较快)
    pip install pyqt5-tools -i https://pypi.tuna.tsinghua.edu.cn/simple/
    pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
    pip install labelImg -i https://pypi.tuna.tsinghua.edu.cn/simple/ (Img中的I要大写,注意)
    全部安装完毕就可以啦!遇到安装问题直接百度都可以解决

    然后在anaconda prompt中打开labelImg:


    ##第四步:制作VOC2007格式数据

    • 推荐博客:https://blog.csdn.net/u011574296/article/details/78953681

    ##其他:图像分割

    • 有时实验需要,要把一张大图平均分割为几部分:ps即可做到
    • https://jingyan.baidu.com/article/d3b74d6415f9351f77e60984.html
    展开全文
  • Faster R-CNN 数据集的文件格式

    千次阅读 2017-05-26 19:04:50
    通过标记图像获得了图像特征的坐标,类名, 为了给Faster R-CNN训练数据集,需要把标注数据同意化成xml格式

    通过标记图像获得了图像特征的坐标,类名,

    为了给Faster R-CNN训练数据集,需要把标注数据统一化成xml格式,

    该格式如下

    <annotation>
    	<folder>VOC2007</folder> # 数据集的名称我是用的是VOC2007的数据集格式
    	<filename>000000.jpg</filename> # 图片名,最好能按照规范采用六位数字命名
    	<source> #注释信息,无所谓有无
            	<database>The VOC2007 Database</database>
            	<annotation>PASCAL VOC2007</annotation>
            	<image>flickr</image>
            	<flickrid>321862192</flickrid>
        	</source>
        	<owner> #注释信息,无所谓有无
            	<flickrid>Xu</flickrid>
            	<name>?</name>
        	</owner>
    	<size>#图像尺寸
    		<width>340</width>
    		<height>520</height>
    		<depth>3</depth>
    	</size>
    	<segmented>0</segmented>
    	<object> # 标注了几个地方,就有几个object项
    		<name>person</name> #class name,不要使用大写字母
    		<pose>Frontal</pose>
    		<truncated>1</truncated>
    		<difficult>0</difficult>
    		<bndbox>#坐标,注意坐标的顺序,坐标是以左上角为原点的
    			<xmin>599</xmin>
    			<ymin>741</ymin>
    			<xmax>697</xmax>
    			<ymax>684</ymax>
    		</bndbox>
    	</object>
    	<object>
    		<name>person</name>
    		<pose>Frontal</pose>
    		<truncated>1</truncated>
    		<difficult>0</difficult>
    		<bndbox>
    			<xmin>847</xmin>
    			<ymin>1150</ymin>
    			<xmax>897</xmax>
    			<ymax>1029</ymax>
    		</bndbox>
    	</object>
    	<object>
    		<name>person</name>
    		<pose>Frontal</pose>
    		<truncated>1</truncated>
    		<difficult>0</difficult>
    		<bndbox>
    			<xmin>595</xmin>
    			<ymin>1142</ymin>
    			<xmax>640</xmax>
    			<ymax>1039</ymax>
    		</bndbox>
    	</object>
    </annotation>
    


    展开全文
  • CDA数据分析师 出品尽管成熟的算法和开源代码库可供机器学习从业人员广泛使用,但使用足够的数据去应用这些技术仍然是一个核心挑战。现在让我们了解如何利用scikit-learn和其他工具来生成适合优化和微调模型的综合...
  • Mask R-CNN数据集信息提取

    千次阅读 2018-09-05 15:10:02
    刚开始复现Mask R-CNN,这里只分享数据集从被labelme标记后的json文件批量化信息提取 test_images:是训练集图片,通过labelme对数据进行做标签得到的.json都放于json文件夹 json : json 文件夹 json_...
  • Tiny_cnn训练数据集

    2016-11-10 16:33:13
    Tiny_cnn训练数据集
  • 1. CK数据集-ck,ck+表情识别 2. cnn文本分类-cnews 注释:百度云链接
  • CNN flower数据集和模型

    2019-04-03 21:11:38
    用于Tensor CNN训练的花的数据集和已经训练好模型的压缩包
  • 基于CIFAR10数据集CNN

    2020-04-02 21:22:49
    目录摘要CNN数据集介绍代码实现读取数据集合搭建CNN网络fit函数总结 摘要 本日志记录我初次用pytorch搭建卷积神经网络,参考了很多别人的经验和代码,主要是根据...
  • 基于CNN的口罩数据集

    2020-07-06 21:02:47
    基于CNN的笑脸识别,并在此基础上进行口罩识别。(仿照猫狗识别),需要训练模型的数据集,该数据集需要自己进行分类,mask和nomask的。
  • cnn-实现手写数据集分类,cnn-实现手写数据集分类,cnn-实现手写数据集分类
  • 我的数据集是一个由20列和100000个列组成的简单表行。它不是CNN常用的图像数据。在这种情况下,我应该提供什么样的输入形状?在现在我做到了-input_shape = (21,109713,1)model.add(Conv2D(32, kernel_size=(5, 5), ...
  • CNN分类数据集下载,动物十分类
  • 资源实现了多种适合MNIST数据集CNN网络,包含自己设计的DenseCNN,著名的LeNet5、AlexNet、ZFNet和VGGNet16。实验结果的可视化包含损失和准确度随迭代次数的变化。模型可下载后直接运行。
  • 基于tensorflow的CNN的MNIST数据集,里面包含测试集和训练集,方便对应文章上的数据进行对比
  • Pytorch将数据集划分为训练集、验证集和测试集我们可以借助Pytorch从文件夹中读取数据集,十分方便,但是Pytorch中没有提供数据集划分的操作,需要手动将原始的数据集划分为训练集、验证集和测试集,废话不多说,...
  • 构建简单的CNN模型识别cifar数据集。 经过几天的简单学习,尝试写了一个简单的CNN模型通过cifar数据集进行训练。效果一般,测试集上的的表现并不好,说明模型的构建不怎么样。 # -*- coding = utf-8 -*- # @Time : ...
  • cnn实现minist数据集分类

    千次阅读 2019-04-07 20:44:49
    对于minist数据集分类,相较于普通的全连接神经网络,CNN可以得到更高的准确率于更低的loss。在涉及图片的机器学习领域,CNN是目前最佳的解决方案。 CNN对minist数据集分类的代码: import keras from keras....
  • 教程并没有使用MNIST数据集,而是使用了真实的图片文件,并且教程代码包含了模型的保存、加载等功能,因此希望在日常项目中使用Tensorflow的朋友可以参考这篇教程。完整代码可在专知成员Hujun的Github中下载。...
  • 在使用theano的cnn时,今天介绍一下关于如何将自己的数据集转换成像cnn的默认数据集mnist的形式 在此本人遇到了一些坑,在此进行总结一下, 声明在此使用的彩色图转灰度图进行的单通道的图像存储,对于多通道的图像...
  • PyTorch创建的CNN网络,并使用MNIST数据集训练网络,适用于Pytorch新手以及刚接触CNN的朋友
  • 基于GTSRB数据集CNN,卷积神经网络交通标志识别
  • 使用CNN实现MNIST数据集分类

    千次阅读 2019-05-01 21:01:42
    1 MNIST数据集CNN网络配置 关于MNIST数据集的说明及配置见使用TensorFlow实现MNIST数据集分类 CNN网络参数配置如下: 原始数据:输入为[28,28],输出为[1,10] 卷积核1:[5,5],32个特征 -->28*28*32 池化...
  • CNN实现猫狗数据集识别

    千次阅读 2018-12-15 15:18:04
    # -*- coding: utf-8 -*- # @Time : 2018/12/14 20:44 # @Author : WenZhao # @Email : 46546924@qq.com # @File : dogvscatCnn-2.py # @Software: PyCharm ''' CNN实现猫狗数据集识别 缺少步骤: 正则...
  • 此代码为猫狗数据集数据集较大所以选取1000张图片为基准。 cnn初级代码 需要与数据处理相互结合。数据处理相对麻烦一些 下面cnn代码与之前变化不大 如果有人需要数据集请私信我。 思路: 1.模块、环境导入...
  • CNN_mnist数据集详解

    2019-04-14 16:05:29
    前一阵在网上找了一个基于CNN的mnist数据集的原码来修改,结合了大牛们的博客,并且添加了一些自己的详细备注。当遇到问题时,会继续补充,也希望大家讨论,指出解释或者代码中不合理的地方。话不多说,代码见: ...
  • Tensorflow学习-MNIST数据集CNN CNN数据集导入,keras自带的下载或者从某盘提取点击获取数据集,提取码:45yf #加载MNIST数据集 from keras.datasets import mnist (x_train,y_train),(x_test,y_test)=mnist.load...
  • 手写识别的简单cnn版本和复杂cnn版本的实现,代码简单,附带数据集

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,700
精华内容 2,280
关键字:

cnn数据集