精华内容
下载资源
问答
  • cifar10 数据集介绍

    千次阅读 2019-07-28 10:38:43
    CIFAR-10 是一个包含60000张图片的数据集。其中每张照片为32*32的彩色照片,每个像素点包括RGB三个数值,数值范围 0 ~ 255。所有照片分属10个不同的类别,分别是 'airplane', 'automobile', 'bird', 'cat', 'deer', ...

    基本信息

    CIFAR-10 是一个包含60000张图片的数据集。其中每张照片为32*32的彩色照片,每个像素点包括RGB三个数值,数值范围 0 ~ 255。所有照片分属10个不同的类别,分别是 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'。其中五万张图片被划分为训练集,剩下的一万张图片属于测试集。

    下载数据集

    打开下面的链接进入官网下载

    http://www.cs.toronto.edu/~kriz/cifar.html

    查看文件

    基于Python3.5

    #python3
    import numpy as np
    import pickle
    import os
    
    CIFAR_DIR = "./cifar-10-batches-py"
    print(os.listdir(CIFAR_DIR))
    
    with open(os.path.join(CIFAR_DIR, "data_batch_1"), 'rb') as f:
    	data = pickle.load(f, encoding='bytes')
    	print(type(data))
    	print(data.keys())
    	print(type(data[b'data']))
    	print(type(data[b'labels']))
    	print(type(data[b'batch_label']))
    	print(type(data[b'filenames']))
    	print(data[b'data'].shape)
    	print(data[b'data'][2:4])
    	print(data[b'batch_label'])
    	print(data[b'filenames'][2:4])
    
    image = data[b'data'][100]
    image = image.reshape((3,32,32)) #32 32 3
    image = image.transpose((1,2,0))
    #matplotlib inline
    import matplotlib.pyplot as plt
    from matplotlib.pyplot import imshow 
    imshow(image)
    plt.show()

    运行结果如下:

    展开全文
  • 狗:粗粒度 哈巴狗:细粒度

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述
    狗:粗粒度
    哈巴狗:细粒度
    在这里插入图片描述

    展开全文
  • CIFAR10/CIFAR100数据集介绍

    万次阅读 多人点赞 2018-02-21 16:55:16
    CIFAR-10/CIFAR-100数据集解析 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 CIFAR-10/CIFAR-100数据集 CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集。...CIFAR-10数据集 CIF...

    CIFAR-10/CIFAR-100数据集解析

    觉得有用的话,欢迎一起讨论相互学习~


    我的微博我的github我的B站

    参考文献
    CIFAR-10/CIFAR-100数据集

    CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集。他们由Alex Krizhevsky,Vinod Nair和Geoffrey Hinton收集。

    CIFAR-10数据集

    CIFAR-10数据集由10个类的60000个32x32彩色图像组成,每个类有6000个图像。有50000个训练图像和10000个测试图像。
    数据集分为五个训练批次和一个测试批次,每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像,但一些训练批次可能包含来自一个类别的图像比另一个更多。总体来说,五个训练集之和包含来自每个类的正好5000张图像。
    以下是数据集中的类,以及来自每个类的10个随机图像:

    CIFAR-10.png
    这些类完全相互排斥。汽车和卡车之间没有重叠。“汽车”包括轿车,SUV,这类东西。“卡车”只包括大卡车。都不包括皮卡车。
    airplane/automobile/bird/cat/deer/dog/frog/horse/ship/truck

    CIFAR-10下载

    CIFAR-10 python版本
    CIFAR-10 Matlab版本
    CIFAR-10二进制版本(适用于C程序)

    数据集布局

    Python / Matlab版本

    我将描述数据集的Python版本的布局。Matlab版本的布局是相同的。
    该存档包含文件data_batch_1,data_batch_2,…,data_batch_5以及test_batch。这些文件中的每一个都是用cPickle生成的Python“pickled”对象。这里是一个python2例程,它将打开这样的文件并返回一个字典:

    def unpickle(file):
        import cPickle
        with open(file, 'rb') as fo:
            dict = cPickle.load(fo)
        return dict
    

    下面是一个python3实例

    def unpickle(file):
        import pickle
        with open(file, 'rb') as fo:
            dict = pickle.load(fo, encoding='bytes')
        return dict
    

    以这种方式加载的每个批处理文件都包含一个包含以下元素的字典:
    数据 - 一个10000x3072 uint8的numpy数组。阵列的每一行存储32x32彩色图像即每一行存储32323=3072个数字信息。前1024个条目包含红色通道值,下一个1024个绿色,最后1024个蓝色。图像以行优先顺序存储,以便数组的前32个条目是图像第一行的红色通道值。
    标签 - 范围为0-9的10000个数字的列表。索引i处的数字表示阵列数据中第i个图像的标签。
    该数据集包含另一个名为batches.meta的文件。它也包含一个Python字典对象。它有以下条目:
    label_names - 一个10个元素的列表,它为上述标签数组中的数字标签赋予了有意义的名称。例如,label_names [0] ==“飞机”,label_names [1] ==“汽车”等

    二进制版本

    二进制版本包含文件data_batch_1.bin,data_batch_2.bin,…,data_batch_5.bin以及test_batch.bin。这些文件中的每一个格式如下:

    <1×标签> <3072×像素>
    ...
    <1×标签> <3072×像素>
    

    换句话说,第一个字节是第一个图像的标签,它是一个0-9范围内的数字。接下来的3072个字节是图像像素的值。前1024个字节是红色通道值,下1024个绿色,最后1024个蓝色。值以行优先顺序存储,因此前32个字节是图像第一行的红色通道值。
    每个文件都包含10000个这样的3073字节的“行”图像,但没有任何分隔行的限制。因此每个文件应该完全是30730000字节长。
    还有另一个文件,称为batches.meta.txt。这是一个ASCII文件,它将0-9范围内的数字标签映射到有意义的类名称。它仅仅是10个类名的列表,每行一个。第i行的类名称对应于数字标签i。

    CIFAR-100.png

    CIFAR-100数据集

    这个数据集就像CIFAR-10,除了它有100个类,每个类包含600个图像。,每类各有500个训练图像和100个测试图像。CIFAR-100中的100个类被分成20个超类。每个图像都带有一个“精细”标签(它所属的类)和一个“粗糙”标签(它所属的超类)
    以下是CIFAR-100中的类别列表:

    超类 类别
    水生哺乳动物 海狸,海豚,水獭,海豹,鲸鱼
    水族馆的鱼,比目鱼,射线,鲨鱼,鳟鱼
    花卉 兰花,罂粟花,玫瑰,向日葵,郁金香
    食品容器 瓶子,碗,罐子,杯子,盘子
    水果和蔬菜 苹果,蘑菇,橘子,梨,甜椒
    家用电器 时钟,电脑键盘,台灯,电话机,电视机
    家用家具 床,椅子,沙发,桌子,衣柜
    昆虫 蜜蜂,甲虫,蝴蝶,毛虫,蟑螂
    大型食肉动物 熊,豹,狮子,老虎,狼
    大型人造户外用品 桥,城堡,房子,路,摩天大楼
    大自然的户外场景 云,森林,山,平原,海
    大杂食动物和食草动物 骆驼,牛,黑猩猩,大象,袋鼠
    中型哺乳动物 狐狸,豪猪,负鼠,浣熊,臭鼬
    非昆虫无脊椎动物 螃蟹,龙虾,蜗牛,蜘蛛,蠕虫
    宝贝,男孩,女孩,男人,女人
    爬行动物 鳄鱼,恐龙,蜥蜴,蛇,乌龟
    小型哺乳动物 仓鼠,老鼠,兔子,母老虎,松鼠
    树木 枫树,橡树,棕榈,松树,柳树
    车辆1 自行车,公共汽车,摩托车,皮卡车,火车
    车辆2 割草机,火箭,有轨电车,坦克,拖拉机
    Superclass Classes
    aquatic mammals beaver, dolphin, otter, seal, whale
    fish aquarium fish, flatfish, ray, shark, trout
    flowers orchids, poppies, roses, sunflowers, tulips
    food containers bottles, bowls, cans, cups, plates
    fruit and vegetables apples, mushrooms, oranges, pears, sweet peppers
    household electrical devices clock, computer keyboard, lamp, telephone, television
    household furniture bed, chair, couch, table, wardrobe
    insects bee, beetle, butterfly, caterpillar, cockroach
    large carnivores bear, leopard, lion, tiger, wolf
    large man-made outdoor things bridge, castle, house, road, skyscraper
    large natural outdoor scenes cloud, forest, mountain, plain, sea
    large omnivores and herbivores camel, cattle, chimpanzee, elephant, kangaroo
    medium-sized mammals fox, porcupine, possum, raccoon, skunk
    non-insect invertebrates crab, lobster, snail, spider, worm
    people baby, boy, girl, man, woman
    reptiles crocodile, dinosaur, lizard, snake, turtle
    small mammals hamster, mouse, rabbit, shrew, squirrel
    trees maple, oak, palm, pine, willow
    vehicles 1 bicycle, bus, motorcycle, pickup truck, train
    vehicles 2 lawn-mower, rocket, streetcar, tank, tractor

    CIFAR-100下载

    CIFAR-100 python版本
    CIFAR-100 Matlab版本
    CIFAR-100二进制版本(适用于C程序)

    数据集布局

    Python/matlab版本

    python和Matlab版本的布局与CIFAR-10相同.

    二进制版本

    CIFAR-100的二进制版本与CIFAR-10的二进制版本相似,只是每个图像都有两个标签字节(粗略和细小)和3072像素字节,所以二进制文件如下所示:

    <1 x粗标签> <1 x精标签> <3072 x像素>
    ...
    <1 x粗标签> <1 x精标签> <3072 x像素>
    
    展开全文
  • inferno.io.box.cifarinferno简介inferno安装inferno.io.box.cifar介绍函数参数使用示例(可以直接运行) inferno简介 ...inferno.io.box.cifar包含两个函数,分别用于下载cifar10和cifar100数据集

    inferno简介

    Inferno是一个库,提供了围绕PyTorch的实用程序和方便的函数/类,为深度学习和实现神经网络提供便利。关于inferno的其他模块介绍:
    inferno Pytorch: inferno.extensions.layers.convolutional 介绍及使用
    inferno Pytorch: inferno.io.box.cifar下载cifar10 cifar100数据集 介绍及使用
    inferno Pytorch: inferno.io.transform 介绍及使用

    inferno安装

    pip install inferno-pytorch
    

    inferno.io.box.cifar

    inferno.io.box.cifar包含两个函数,分别用于下载cifar10cifar100数据集(cifar数据集简单介绍),只需要一行代码即可下载。

    源码

    函数入口如下:

    def get_cifar10_loaders(root_directory, train_batch_size=128, test_batch_size=256,
                            download=False, augment=False, validation_dataset_size=None):
    
    def get_cifar100_loaders(root_directory, train_batch_size=128, test_batch_size=100,
                             download=False, augment=False, validation_dataset_size=None):
    

    返回的是一个DataLoader.
    具体源码:

    import os
    import torch
    import torchvision
    import torchvision.transforms as transforms
    from torch.utils.data.sampler import SubsetRandomSampler
    
    
    def get_cifar10_loaders(root_directory, train_batch_size=128, test_batch_size=256,
                            download=False, augment=False, validation_dataset_size=None):
        # Data preparation for CIFAR10.
        if augment:
            transform_train = transforms.Compose([
                transforms.RandomCrop(32, padding=4),
                transforms.RandomHorizontalFlip(),
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.4914, 0.4822, 0.4465), std=(0.247, 0.2435, 0.2616)),
            ])
            transform_test = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.4914, 0.4822, 0.4465), std=(0.247, 0.2435, 0.2616)),
            ])
        else:
            transform_train = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.4914, 0.4822, 0.4465), std=(0.247, 0.2435, 0.2616)),
            ])
            transform_test = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.4914, 0.4822, 0.4465), std=(0.247, 0.2435, 0.2616)),
            ])
    
        trainset = torchvision.datasets.CIFAR10(root=os.path.join(root_directory, 'data'),
                                                train=True, download=download,
                                                transform=transform_train)
        if validation_dataset_size:
            indices = torch.randperm(len(trainset))
            train_indices = indices[:(len(indices) - validation_dataset_size)]
            valid_indices = indices[(len(indices) - validation_dataset_size):]
            validset = torchvision.datasets.CIFAR10(root=os.path.join(root_directory, 'data'),
                                                    train=True, download=download,
                                                    transform=transform_test)
            trainloader = torch.utils.data.DataLoader(trainset, batch_size=train_batch_size,
                                                      pin_memory=True, num_workers=1,
                                                      sampler=SubsetRandomSampler(train_indices))
            validloader = torch.utils.data.DataLoader(validset, batch_size=test_batch_size,
                                                      pin_memory=True, num_workers=1,
                                                      sampler=SubsetRandomSampler(valid_indices))
        else:
            trainloader = torch.utils.data.DataLoader(trainset, batch_size=train_batch_size,
                                                      shuffle=True, pin_memory=True,  num_workers=1)
    
        testset = torchvision.datasets.CIFAR10(root=os.path.join(root_directory, 'data'),
                                               train=False, download=download,
                                               transform=transform_test)
        testloader = torch.utils.data.DataLoader(testset, batch_size=test_batch_size,
                                                 shuffle=False, pin_memory=True,  num_workers=1)
    
        if validation_dataset_size:
            return trainloader, validloader, testloader
        else:
            return trainloader, testloader
    
    
    def get_cifar100_loaders(root_directory, train_batch_size=128, test_batch_size=100,
                             download=False, augment=False, validation_dataset_size=None):
        # Data preparation for CIFAR100. Adapted from
        # https://github.com/kuangliu/pytorch-cifar/blob/master/main.py
        if augment:
            transform_train = transforms.Compose([
                transforms.RandomCrop(32, padding=4),
                transforms.RandomHorizontalFlip(),
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.5071, 0.4865, 0.4409), std=(0.2673, 0.2564, 0.2762)),
            ])
            transform_test = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.5071, 0.4865, 0.4409), std=(0.2673, 0.2564, 0.2762)),
            ])
        else:
            transform_train = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.5071, 0.4865, 0.4409), std=(0.2673, 0.2564, 0.2762)),
            ])
            transform_test = transforms.Compose([
                transforms.ToTensor(),
                transforms.Normalize(mean=(0.5071, 0.4865, 0.4409), std=(0.2673, 0.2564, 0.2762)),
            ])
    
        trainset = torchvision.datasets.CIFAR100(root=os.path.join(root_directory, 'data'),
                                                 train=True, download=download,
                                                 transform=transform_train)
        if validation_dataset_size:
            indices = torch.randperm(len(trainset))
            train_indices = indices[:(len(indices) - validation_dataset_size)]
            valid_indices = indices[(len(indices) - validation_dataset_size):]
            validset = torchvision.datasets.CIFAR100(root=os.path.join(root_directory, 'data'),
                                                     train=True, download=download,
                                                     transform=transform_test)
            trainloader = torch.utils.data.DataLoader(trainset, batch_size=train_batch_size,
                                                      pin_memory=True,  num_workers=1,
                                                      sampler=SubsetRandomSampler(train_indices))
            validloader = torch.utils.data.DataLoader(validset, batch_size=test_batch_size,
                                                      pin_memory=True, num_workers=1,
                                                      sampler=SubsetRandomSampler(valid_indices))
        else:
            trainloader = torch.utils.data.DataLoader(trainset, batch_size=train_batch_size,
                                                      shuffle=True, pin_memory=True, num_workers=1)
    
        testset = torchvision.datasets.CIFAR100(root=os.path.join(root_directory, 'data'),
                                                train=False, download=download,
                                                transform=transform_test)
        testloader = torch.utils.data.DataLoader(testset, batch_size=test_batch_size,
                                                 shuffle=False, pin_memory=True, num_workers=1)
    
        if validation_dataset_size:
            return trainloader, validloader, testloader
        else:
            return trainloader, testloader
    
    

    使用示例(可以直接运行)

    初次运行设置download=True

    from inferno.io.box.cifar import get_cifar10_loaders
    dataLoader = get_cifar10_loaders("./", train_batch_size=64, test_batch_size=64, download=True, augment=False, validation_dataset_size=None)
    
    print(dataLoader)
    
    train, test = dataLoader
    print("训练集样本数量:",len(train),"测试集集样本数量:",len(test))
    for k,v in enumerate(test):
        print(k)
        data, label = v
        print(data.shape, label.shape)
    

    结果:
    在这里插入图片描述

    展开全文
  • CIFAR-10/CIFAR-100数据集解析觉得有用的话,欢迎一起讨论相互学习~Follow Me参考文献CIFAR-10/CIFAR-100数据集CIFAR-10和CIFAR-100被标记为8000万个微小图像...CIFAR-10数据集CIFAR-10数据集由10个类的60000个32x3...
  • cifar10数据集介绍 cifar10是一个图像识别的数据集,一共有6000张32x32像素的彩色图片(训练集:测试集=5:1);这些图片一共分为10类(飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车)。 代码及解析 导入...
  • CIFAR10数据集与MNIST都是入门级数据集, 该数据集共有60000张彩色图像,这些图像是32*32,分为10个类,每类6000张图。 这里面有50000张用于训练,构成了5个训练批,每一批10000张图;另外10000用于测试 数据加载 ...
  • 一.cifar10数据集介绍cifar10数据集介绍[官网]The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes, with 6000 images per class. There are 50000 training images and 10000 test ...
  • CIFAR100数据集介绍及使用方法

    千次阅读 2020-11-02 00:48:29
    CIFAR10、CIFAR100数据集的官网链接:http://www.cs.toronto.edu/~kriz/cifar.html 一、CIFAR100概述 CIFAR100数据集有100个类。每个类有600张大小为32×3232\times 3232×32的彩色图像,其中500张作为训练集,100...
  • python读取cifar10数据集

    千次阅读 2018-07-31 15:07:17
    最近学习卷积网络用到cifar10数据集,自己写了一个工具类,用来读取已经下载到本地的cifar10数据集。 代码写的不算好,但是自己用起来还可以。所以放到网上,有需要的可以拿去用。代码比较少,所以没有写注释。下面...
  • 主要介绍了keras实现VGG16 CIFAR10数据集方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • Tensorflow 加载本地CIFAR10数据集

    千次阅读 2020-04-09 14:56:36
    本文介绍怎样把保存在本地的CIFAR10数据集加载到程序中。 数据集网址:https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 代码: from __future__ import absolute_import from __future__ import ...
  • CIFAR-10数据集官网下载 CIFAR-10数据集介绍 用自己的数据集制作类似于Cifar-10格式的数据集
  • CIFAR10是一个小型的分类数据集,很多论文在该数据集上做实验。本文会简要的介绍CIFAR10,该数据集下载,并将该数据集转化为图片,供以后训练模型使用。
  • VGG16—tensorflow2.0实战(cifar10数据集) 目录 VGG16—tensorflow2.0实战(cifar10数据集) 1、介绍 2、主要改进 3、模型结构 ​4、块结构 5、优缺点 6、代码测试 7、参考学习 1、介绍 VGG是由Simonyan 和...
  • 今天我们来学习下经典网络VGG,并且模拟实现VGG16,且用来训练cifar10数据集。 一:VGG简单学习 先来看下图的总体介绍,有下面几种分类,A,A-LRN,B,C,D,E。其中最常用的是后两种,D和E的网络配置一般也叫做VGG...
  • caffe cifar10数据集训练及模型调用

    千次阅读 2018-01-03 19:57:02
    一、cifar数据集介绍  Cifar-10是由Hinton的两个大弟子Alex Krizhevsky、Ilya Sutskever收集的一个用于普适物体识别的数据集。Cifar是加拿大政府牵头投资的一个先进科学项目研究所。这个项目结集了不少计算机科学...
  • CIFAR-10数据集 官网链接 https://www.cs.toronto.edu/~kriz/cifar.html CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题。任务的目标对一组32x32 RGB的图像进行分类, CIFAR-10数据集是由60000张32x32...
  • 在学习tensorflow的mnist和cifar实例的时候,官方文档给出的讲解都是一张张图片,直观清晰,当我们看到程序...(1)CIFAR-10数据集介绍CIFAR-10数据集包含60000个32*32的彩色图像,共有10类。有50000个训练图像和10000
  • 主要介绍了pytorch VGG11识别cifar10数据集(训练+预测单张输入图片操作),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

空空如也

空空如也

1 2 3 4 5 ... 18
收藏数 341
精华内容 136
关键字:

cifar10数据集介绍