精华内容
下载资源
问答
  • = mnist.load_data() print(X_train.shape) 注意,这时需要下载mnist数据集,我试了手动导入数据集的方法,各种不成功,所以最后用ladder自动下载了。 疑问: Keras数据集的存储位置是这里: 我手动下载了4个数据...

    步骤

    • 先在Anaconda Prompt里激活TensorFlow环境:

    输入命令:activate + 环境名称(我配置的TensorFlow环境名称叫tensorflow),变成下面这个样子:

    (base) C:\Users\Wind>activate tensorflow
    
    (tensorflow) C:\Users\Wind>
    •  接着输入:pip install keras,等待安装,如图:
    (tensorflow) C:\Users\Wind>pip install keras
    • 在TensorFlow环境下,打开Jupyter Notebook:

    from keras.datasets import mnist
    (X_train,Y_train),(X_test,Y_test) = mnist.load_data()
    print(X_train.shape)

    注意,这时需要下载mnist的数据集,我试了手动导入数据集的方法,各种不成功,所以最后用ladder自动下载了。

     

    疑问:

     

    Keras数据集的存储位置是这里:

     

    我手动下载了4个数据集,是这样的:

    为什么把这几个文件复制到datasets文件夹里面,还是识别不了呢?

    (如果有谁知道怎么解决,还请告知,感谢!!)


    by 风

     

     

     

     

    展开全文
  • 从这里可以提取到mnist数据集,如果链接过期,请及时联系我,我会更新 。 2.好,这一切尘埃落定以后,需要把下载到本地的数据集,提取到 jupyter notebook 下,你所创建的 .ipynb文件的当前目录下。 3.输入代码...

    宝宝们可能会遇到这样的问题

    
    F:\anaconda\lib\ssl.py in read(self, len, buffer)
        906         try:
        907             if buffer is not None:
    --> 908                 return self._sslobj.read(len, buffer)
        909             else:
        910                 return self._sslobj.read(len)
    
    ***TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。***
    
    

    这种报错可原谅,因为考虑到要翻“高墙”,而我们又买不起梯子。

    解决办法
    1.我们可以将数据集下载到本地,在进行加载操作

    网盘链接:链接:https://pan.baidu.com/s/1wsEu5yJuffVot4hYdgSeIg
    提取码:m51w

    从这里可以提取到mnist数据集,如果链接过期,请及时联系我,我会更新

    2.好,这一切尘埃落定以后,需要把下载到本地的数据集,提取到 jupyter notebook 下,你所创建的
    .ipynb文件的当前目录下。

    在这里插入图片描述3.输入代码进行测试:

    import numpy as np
    f = np.load('./mnist.npz')
    X_train, y_train = f['x_train'], f['y_train']
    X_test, y_test = f['x_test'], f['y_test']
    f.close()
    
    print('训练集中共有{}个样本'.format(len(X_train)))
    print('测试集中共有{}个样本'.format(len(X_test)))
    

    结果:

    训练集中共有60000个样本
    测试集中共有10000个样本
    

    以上,问题解决

    展开全文
  • 在pycharm中导入自己的模块很容易,只需要放在同一路径即可,但在jupyter导入自己写的模块是,会报错说找不到模块,想要在jupyter导入自己的模块可以将写好的模块保存为.py文件就可以引用了。 具体的操作如下...

    在pycharm中导入自己的模块很容易,只需要放在同一路径即可,但在jupyter中导入自己写的模块是,会报错说找不到模块,想要在jupyter中导入自己的模块可以将写好的模块保存为.py文件就可以引用了。

    具体的操作如下:
    将模块导出为.py文件
    在这里插入图片描述
    然后保存在同一路径中,这样就可以引用了。
    ‘’’
    import input_data
    mnist = input_data.read_data_sets(“F:/Mnist_data/”, one_hot = True)``
    ‘’’

    import input_data
    mnist = input_data.read_data_sets("F:/Mnist_data/",one_hot = True)
    

    以上的input_data模块是用于下载Mnist数据库,详细的代码如下:

    # Copyright 2015 Google Inc. All Rights Reserved.
    #
    # Licensed under the Apache License, Version 2.0 (the "License");
    # you may not use this file except in compliance with the License.
    # You may obtain a copy of the License at
    #
    #     http://www.apache.org/licenses/LICENSE-2.0
    #
    # Unless required by applicable law or agreed to in writing, software
    # distributed under the License is distributed on an "AS IS" BASIS,
    # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    # See the License for the specific language governing permissions and
    # limitations under the License.
    # ==============================================================================
    """Functions for downloading and reading MNIST data."""
    from __future__ import absolute_import
    from __future__ import division
    from __future__ import print_function
    import gzip
    import os
    import tensorflow.python.platform
    import numpy
    from six.moves import urllib
    from six.moves import xrange  # pylint: disable=redefined-builtin
    import tensorflow as tf
    SOURCE_URL = 'http://yann.lecun.com/exdb/mnist/'
    def maybe_download(filename, work_directory):
      """Download the data from Yann's website, unless it's already here."""
      if not os.path.exists(work_directory):
        os.mkdir(work_directory)
      filepath = os.path.join(work_directory, filename)
      if not os.path.exists(filepath):
        filepath, _ = urllib.request.urlretrieve(SOURCE_URL + filename, filepath)
        statinfo = os.stat(filepath)
        print('Successfully downloaded', filename, statinfo.st_size, 'bytes.')
      return filepath
    def _read32(bytestream):
      dt = numpy.dtype(numpy.uint32).newbyteorder('>')
      return numpy.frombuffer(bytestream.read(4), dtype=dt)[0]
    def extract_images(filename):
      """Extract the images into a 4D uint8 numpy array [index, y, x, depth]."""
      print('Extracting', filename)
      with gzip.open(filename) as bytestream:
        magic = _read32(bytestream)
        if magic != 2051:
          raise ValueError(
              'Invalid magic number %d in MNIST image file: %s' %
              (magic, filename))
        num_images = _read32(bytestream)
        rows = _read32(bytestream)
        cols = _read32(bytestream)
        buf = bytestream.read(rows * cols * num_images)
        data = numpy.frombuffer(buf, dtype=numpy.uint8)
        data = data.reshape(num_images, rows, cols, 1)
        return data
    def dense_to_one_hot(labels_dense, num_classes=10):
      """Convert class labels from scalars to one-hot vectors."""
      num_labels = labels_dense.shape[0]
      index_offset = numpy.arange(num_labels) * num_classes
      labels_one_hot = numpy.zeros((num_labels, num_classes))
      labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1
      return labels_one_hot
    def extract_labels(filename, one_hot=False):
      """Extract the labels into a 1D uint8 numpy array [index]."""
      print('Extracting', filename)
      with gzip.open(filename) as bytestream:
        magic = _read32(bytestream)
        if magic != 2049:
          raise ValueError(
              'Invalid magic number %d in MNIST label file: %s' %
              (magic, filename))
        num_items = _read32(bytestream)
        buf = bytestream.read(num_items)
        labels = numpy.frombuffer(buf, dtype=numpy.uint8)
        if one_hot:
          return dense_to_one_hot(labels)
        return labels
    class DataSet(object):
      def __init__(self, images, labels, fake_data=False, one_hot=False,
                   dtype=tf.float32):
        """Construct a DataSet.
        one_hot arg is used only if fake_data is true.  `dtype` can be either
        `uint8` to leave the input as `[0, 255]`, or `float32` to rescale into
        `[0, 1]`.
        """
        dtype = tf.as_dtype(dtype).base_dtype
        if dtype not in (tf.uint8, tf.float32):
          raise TypeError('Invalid image dtype %r, expected uint8 or float32' %
                          dtype)
        if fake_data:
          self._num_examples = 10000
          self.one_hot = one_hot
        else:
          assert images.shape[0] == labels.shape[0], (
              'images.shape: %s labels.shape: %s' % (images.shape,
                                                     labels.shape))
          self._num_examples = images.shape[0]
          # Convert shape from [num examples, rows, columns, depth]
          # to [num examples, rows*columns] (assuming depth == 1)
          assert images.shape[3] == 1
          images = images.reshape(images.shape[0],
                                  images.shape[1] * images.shape[2])
          if dtype == tf.float32:
            # Convert from [0, 255] -> [0.0, 1.0].
            images = images.astype(numpy.float32)
            images = numpy.multiply(images, 1.0 / 255.0)
        self._images = images
        self._labels = labels
        self._epochs_completed = 0
        self._index_in_epoch = 0
      @property
      def images(self):
        return self._images
      @property
      def labels(self):
        return self._labels
      @property
      def num_examples(self):
        return self._num_examples
      @property
      def epochs_completed(self):
        return self._epochs_completed
      def next_batch(self, batch_size, fake_data=False):
        """Return the next `batch_size` examples from this data set."""
        if fake_data:
          fake_image = [1] * 784
          if self.one_hot:
            fake_label = [1] + [0] * 9
          else:
            fake_label = 0
          return [fake_image for _ in xrange(batch_size)], [
              fake_label for _ in xrange(batch_size)]
        start = self._index_in_epoch
        self._index_in_epoch += batch_size
        if self._index_in_epoch > self._num_examples:
          # Finished epoch
          self._epochs_completed += 1
          # Shuffle the data
          perm = numpy.arange(self._num_examples)
          numpy.random.shuffle(perm)
          self._images = self._images[perm]
          self._labels = self._labels[perm]
          # Start next epoch
          start = 0
          self._index_in_epoch = batch_size
          assert batch_size <= self._num_examples
        end = self._index_in_epoch
        return self._images[start:end], self._labels[start:end]
    def read_data_sets(train_dir, fake_data=False, one_hot=False, dtype=tf.float32):
      class DataSets(object):
        pass
      data_sets = DataSets()
      if fake_data:
        def fake():
          return DataSet([], [], fake_data=True, one_hot=one_hot, dtype=dtype)
        data_sets.train = fake()
        data_sets.validation = fake()
        data_sets.test = fake()
        return data_sets
      TRAIN_IMAGES = 'train-images-idx3-ubyte.gz'
      TRAIN_LABELS = 'train-labels-idx1-ubyte.gz'
      TEST_IMAGES = 't10k-images-idx3-ubyte.gz'
      TEST_LABELS = 't10k-labels-idx1-ubyte.gz'
      VALIDATION_SIZE = 5000
      local_file = maybe_download(TRAIN_IMAGES, train_dir)
      train_images = extract_images(local_file)
      local_file = maybe_download(TRAIN_LABELS, train_dir)
      train_labels = extract_labels(local_file, one_hot=one_hot)
      local_file = maybe_download(TEST_IMAGES, train_dir)
      test_images = extract_images(local_file)
      local_file = maybe_download(TEST_LABELS, train_dir)
      test_labels = extract_labels(local_file, one_hot=one_hot)
      validation_images = train_images[:VALIDATION_SIZE]
      validation_labels = train_labels[:VALIDATION_SIZE]
      train_images = train_images[VALIDATION_SIZE:]
      train_labels = train_labels[VALIDATION_SIZE:]
      data_sets.train = DataSet(train_images, train_labels, dtype=dtype)
      data_sets.validation = DataSet(validation_images, validation_labels,
                                     dtype=dtype)
      data_sets.test = DataSet(test_images, test_labels, dtype=dtype)
      return data_sets

    这是从tensorflow中文社区找到的,具体网址懒得放了,需要看源码的可以自己去找一下。

    展开全文
  • 首先最重要的是要事先准备好自己要导入数据集,并将其放入到工作路径下,我的jupyter notebook 工作路径在安装anaconda的时候就已经设置好了,本人电脑工作路径如下: 大家可以随便设置工作路径,安装时的默认...

    写在前面:
    本人写文章主要是为了在学习过程中做笔记用,也希望自己的一些亲身经历能帮助到某些砥砺奋进的小伙伴,只渡有缘人!我还有些文章是私密文章,写的太菜,就不拿出来献丑了,我也是个菜鸟,很多不对的地方希望高人指点批评!

    这是是困扰了我挺久的问题(没办法是我太菜!!!)
    首先最重要的是要事先准备好自己要导入的数据集,并将其放入到工作路径下,我的jupyter notebook 工作路径在安装anaconda的时候就已经设置好了,本人电脑工作路径如下:
    在这里插入图片描述
    大家可以随便设置工作路径,安装时的默认路径也可,唯一缺点可能就是找起来比较麻烦。如果你是处女座,为了使自己电脑文件赏心悦目,还是自己更改一下工作路径。
    言归正传:
    要导入的数据类型比较常见入门的可分为两类:

    1.txt,csv,excel
    2.pkl

    首先说说txt,csv,excel类型文件
    对于数据集小的文件可以直接执行jupyter notebook 首页上的upload按钮,这样就能将数据集导入,要注意的是事先一定要将数据集放在工作路径下
    在这里插入图片描述
    或者可以在编码区执行如下代码
    在这里插入图片描述
    其效果如下
    在这里插入图片描述是不是so easy?

    接下来重点说说如何打开pkl文件?
    (这里的pkl数据集是用的手写字体数据集mnist)
    这是困扰了我一个多星期的世界难题,最开始按照老师教的方法直接从数据集网址下载数据(不信的老铁可以去试试,网络下载地址:http://deeplearning.net/data/mnist/)。好家伙,我还以为我网络有问题,我的电脑硬是下载了一个晚上都没能把数据集的毛撸下一根。。。于是我只得寻求它法。

    经过多次验证,终于通过如下代码实现了pkl数据集的导入:
    在这里插入图片描述
    效果如下:
    在这里插入图片描述

    展开全文
  • 将下载好的npz格式的mnist数据集导入jupyter中的方法 第一步: 先从网上下载mnist数据集,数据集的格式为npz,这是一个压缩文件。 第二步: 将下载好的数据集导入到upyter 当前目录下,用upload上传数据集文件 第三...
  • 1.笔者最近在学习神经网络模型的搭建,发现最新版的skleran无法导入MNIST数据集 2.解决方案: from sklearn.datasets import fetch_openml mnist = fetch_openml('mnist_784') 原因是最新版的sklearn已经不支持...
  • MNIST_NET Jupyter笔记本记录了我构建卷积神经网络以对MNIST数据集进行分类的思考过程
  • 首先需要先完成tensorflow的安装 直接送上前辈已经写...我也是一名小白 所以在学长的建议下使用了 Jupyter Notebook 编辑代码,它很容易上手用起来非常方便,是个对新手非常友好的工具。同样直接送上关于 Jupyter...
  • 解析MNIST数据集

    2019-12-20 10:45:51
    MNIST数据集作为一个简单的计算机视觉数据集,包含一系列手写数字图片和对应的标签。图片是28x28的像素矩阵,标签则对应着0~9的10个数字。每张图片都经过了大小归一化和居中处理。 而MNIST数据库的文件格式是IDX...
  • tensorflow基础教程中所用mnist数据集,在线下载会出问题,最好采用以下步骤: # (1) 首先在当前项目下新建 MNIST_data # (2) http://yann.lecun.com/exdb/mnist/ 从该网址将4个附件全部下载 # (3) 载的四个文件...
  • 目录TensorFlow2.0.0安装fashion mnist数据集详细实现过程导入模块导入数据集查看数据集构建模型查看模型模型训练绘制曲线参考 TensorFlow2.0.0安装 (1)在win10中,打开cmd,查看自己的驱动 (2)在安装...
  • 第一章提到,最常见的监督式学习任务包括回归任务(预测值)和分类...数据介绍:本章使用MNIST数据集,这是一组由美国高中生和人口调查局员工手写的70000个数字的图片。每张图像都用其代表的数字标记。这个数据集被...
  • # 导入包 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data....这个点进运行可能会有一个比较长的时间,所以,我先下载好需要的数据集 网址是:http://...
  • python初实现MNIST数据集数字识别感知机(Perceptron)实现MNIST数字识别1. 导入包2. 载入MNIST数据集,并创建默认的Interactive Session3. 感知机网络结构4. 损失和优化器5. 初始化和准确率6. 训练7. 注意 MNIST...
  • MNIST数据集简介与使用

    千次阅读 2020-11-30 23:33:54
    MNIST数据集   MNIST数据集下载地址是http://yann.lecun.com/exdb/mnist/,它包含了4个部分: 训练数据集:train-images-idx3-ubyte.gz (9.45 MB,包含60,000个样本)。 训练数据集标签:train-labels-idx1-...
  • URLError: &lt;urlopen error [Errno 8] nodename nor ...当我想使用tensorflow中的mnist数据集时,网上所告知我们的资料都是使用: import tensorflow.examples.tutorials.mnist.input_data as input_da...
  • 【Mnist】用matplotlib查看Mnist数据集中的图片(由keras导入数据集) 8行代码: import numpy as np import matplotlib.pyplot as plt from keras.datasets import mnist (X_train, Y_train), (Y_test, Y_test...
  • 从下载Anaconda到实现MNIST手写数字识别成功的整个过程 一、下载最新版本的Anaconda,根据Anaconda安装tensorflow 【参考另一篇博客】https://blog.csdn.net/qq_22016915/article/details/101153861 二、用...
  • 基于pytorch的MNIST数据集的四层CNN,测试准确率99.77%MNIST数据集环境配置文件存储结构代码引入库调用GPU初始化变量导入数据集并进行数据增强导入测试集加载测试集查看部分图片model结构权值初始化实例化网络,设置...
  • 环境 win10,jupyter notebook,python3,tensorflow2 模块与数据的导入 #引入模块 import tensorflow as tf from tensorflow import keras import numpy as np ...#下载数据集 fashion_mnist = keras.da...
  • 十分钟搞懂Pytorch如何读取MNIST数据集

    千次阅读 多人点赞 2020-10-17 20:47:41
    本文用于记录使用pytorch读取minist数据集的过程,以及一些思考和疑惑吧… 正文 在阅读教程书籍《深度学习入门之Pytorch》时,文中是如此加载MNIST手写数字训练集的: train_dataset = datasets.MNIST(root='./MNIST...
  • mnist数据集识别及其一些具体步骤(包含出现的URLError: urlopen error [WinError 10060] 错误) mnist数据集的下载地址:http://yann.lecun.com/exdb/mnist/ 其中有四个文件: train-images-idx3-ubyte.gz: ...
  • MNIST数据集手写数字分类

    千次阅读 2020-01-01 20:48:54
    1、下载并解压数据集 2、完整代码 3、数据准备 4、数据观察 4.1 查看变量mnist的方法和属性 4.2 对比三个集合 4.3 mnist.train.images观察 4.4 查看手写数字图 5、搭建神经网络 6、变量初始化 7、模型训练...
  • 文章目录一、Fashion-MNIST数据集1.1 认识数据集1.2 小批量读取数据二、softmax回归从零开始实现2.1 初始化模型参数2.2 定义softmax函数及网络模型2.3 定义交叉熵损失函数2.4 训练数据2.5 测试模型三、使用pytorch...
  • 目录tensorflow简单介绍代码拆分(每个代码块可以放到一个jupyter的cell里)导入tensorflow及其他包载入数据集定义网络结构及进行训练完整代码 tensorflow简单介绍 tensor采用图运算的方式搭建并训练深度学习网络,...
  • Ubuntu下Tensorflow加载MNIST数据集(数据下载和读取)简介:作为小白初入茅庐,根据tensorflow中文版的参考文档,以及自己平时学习的体会,总结了在ubuntu下进行深度学习的mnist测试手写数字过程。
  • 1、MNIST数据集 2、训练一个二元分类器 2.1、随机梯度下降(SGD)分类器 2.2、分类器的性能考核: 2.2.1、混淆矩阵 2.2.2、精度:(我的理解:预测集内,预测正确的比率) 2.2.3、召回率:(我的理解:整个正类...
  • 下面这个是载入Fashion-MNIST数据集的函数 没看明白,现在还在尝试,但是有大佬指导下就更好了(求~) ![图片说明](https://img-ask.csdn.net/upload/201911/27/1574844395_318556.png) 附代码 ``` def...
  • Fashion-MNIST数据集介绍 Fashion-MNIST是一个替代MNIST手写数字集的图像数据集。 它是由Zalando(一家德国的时尚科技公司)旗下的研究部门提供。其涵盖了来自10种类别的共7万个不同商品的正面图片。Fashion-MNIST的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 648
精华内容 259
关键字:

jupyter导入mnist数据集