精华内容
下载资源
问答
  • h5py

    2020-09-20 21:47:48
    python库—h5py应用 命令行安装 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h5py 简单介绍 h5py文件是存放两类对象的容器,数据集(dataset)和组(group),dataset类似数组类的数据集合,和numpy的...

    python库—h5py应用

    命令行安装

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h5py
    

    简单介绍

    h5py文件是存放两类对象的容器,数据集(dataset)和组(group),dataset类似数组类的数据集合,和numpy的数组差不多。group是像文件夹一样的容器,它好比python中的字典,有键(key)和值(value)。group中可以存放dataset或者其他的group。”键”就是组成员的名称,”值”就是组成员对象本身(组或者数据集),下面先来看下如何创建数据集。

    1.创建一个h5py文件

    import h5py
    
    f=h5py.File("myh5py.hdf5","w")
    

    在当前目录下会生成一个myh5py.hdf5文件

    2.创建一个dataset

    import h5py
    
    f=h5py.File("myh5py.hdf5","w")
    d1=f.create_dataset("dset1",(20,),'i')
    for key in f.keys():
        print(key)
        print(f[key].name)
        print(f[key].shape)
        print(f[key].value)
    
    
    输出:
    dset1
    /dset1
    (20,)
    [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
    
    

    这里仅仅创建了一个存放20个整型元素的数据集,并没有赋值,默认全是0,如何赋值呢,看下面的代码。

    import h5py
    import numpy as np
    f=h5py.File("myh5py.hdf5","w")
     
    d1=f.create_dataset("dset1",(20,),'i')
    #赋值
    d1[...]=np.arange(20)
    #或者我们可以直接按照下面的方式创建数据集并赋值
    f["dset2"]=np.arange(15)
     
    for key in f.keys():
        print(f[key].name)
        print(f[key].value)
     
     
    输出:
    /dset1
    [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]
    /dset2
    [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14]
    

    如果我们有现成的numpy数组,那么可以在创建数据集的时候就赋值,这个时候就不必指定数据的类型和形状了,只需要把数组名传给参数data。

    import h5py
    import numpy as np
    f=h5py.File("myh5py.hdf5","w")
    a=np.arange(20)
    d1=f.create_dataset("dset1",data=a)
    for key in f.keys():
        print(f[key].name)
        print(f[key].value)
     
     
    输出:
    /dset1
    [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]
    

    现在把这几种创建的方式混合写下。

    import h5py
    import numpy as np
    f=h5py.File("myh5py.hdf5","w")
    #分别创建dset1,dset2,dset3这三个数据集
    a=np.arange(20)
    d1=f.create_dataset("dset1",data=a)
     
    d2=f.create_dataset("dset2",(3,4),'i')
    d2[...]=np.arange(12).reshape((3,4))
     
    f["dset3"]=np.arange(15)
     
    for key in f.keys():
        print(f[key].name)
        print(f[key].value)
     
     
    输出:
    /dset1
    [ 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19]
    /dset2
    [[ 0  1  2  3]
     [ 4  5  6  7]
     [ 8  9 10 11]]
    /dset3
    [ 0  1  2  3  4  5  6  7  8  9 10 
    
    展开全文
  • 成功解决 File "h5py\h5t.pxd", line 14, in init h5py._conv (D:\Build\h5py\h5py-2.7.0\h5py\_conv.c:7539) 目录 解决问题 解决思路 解决方法 解决问题 File "h5py\h5t.pxd", line 14, in ...

    成功解决 File "h5py\h5t.pxd", line 14, in init h5py._conv (D:\Build\h5py\h5py-2.7.0\h5py\_conv.c:7539)

     

     

     

    目录

    解决问题

    解决思路

    解决方法


     

     

     

     

    解决问题

     File "h5py\h5t.pxd", line 14, in init h5py._conv (D:\Build\h5py\h5py-2.7.0\h5py\_conv.c:7539)
      File "h5py\numpy.pxd", line 66, in init h5py.h5t (D:\Build\h5py\h5py-2.7.0\h5py\h5t.c:22512)
    AttributeError: module 'numpy' has no attribute 'dtype'

     

     

    解决思路

    属性错误:模块“numpy”没有属性“dtype”

     

     

     

     

     

    解决方法

    将h5py库函数文件进行替换,利用Anaconda代替原先python下载下来的库。

    哈哈,大功告成!

     

     

     

     

    展开全文
  • Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略 目录 h5py的简介 Websites Installation Reporting bugs h5py的安装 h5py的使用方法 1、写入数据 2、读取数据 h5py的简介 ...

    Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略

     

     

     

    目录

    h5py的简介

    Websites

    Installation

    Reporting bugs

    h5py的安装

    h5py的使用方法

    1、写入数据

    2、读取数据


     

     

     

     

    h5py的简介

          使用h5py库读写超过内存的大数据 。在简单数据的读操作中,我们通常一次性把数据全部读入到内存中。读写超过内存的大数据时,有别于简单数据的读写操作,受限于内存大小,通常需要指定位置、指定区域读写操作,避免无关数据的读写。  h5py库刚好可以实现这一功能。
          h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!h5py文件是存放两类对象的容器,数据集(dataset)和组(group),dataset类似数组类的数据集合,和numpy的数组差不多。group是像文件夹一样的容器,它好比python中的字典,有键(key)和值(value)。group中可以存放dataset或者其他的group。”键”就是组成员的名称,”值”就是组成员对象本身(组或者数据集),下面来看下如何创建组和数据集。

    相关文章HDF5 for Python

     

          h5py is a thin, pythonic wrapper around the HDF5, which runs on Python 3 (3.6+).

    Websites

    Installation

    Pre-build h5py can either be installed via your Python Distribution (e.g. Continuum AnacondaEnthought Canopy) or from PyPI via pip. h5py is also distributed in many Linux Distributions (e.g. Ubuntu, Fedora), and in the MacOS package managers HomebrewMacports, or Fink.

    More detailed installation instructions, including how to install h5py with MPI support, can be found at: https://docs.h5py.org/en/latest/build.html.

    Reporting bugs

    Open a bug at https://github.com/h5py/h5py/issues. For general questions, ask on the list (https://groups.google.com/d/forum/h5py).

     

     

    h5py的安装

    pip install h5py

    安装成功!哈哈,继续学习去啦!

     

    h5py的使用方法

    后期更新……

    1、写入数据

    import h5py
    
    """
        create_dataset : 新建 dataset
        create_group : 新建 group
    """
    
    x = np.arange(100)
    
    with h5py.File('test.h5','w') as f:
        f.create_dataset('test_numpy',data=x)
        subgroup = f.create_group('subgroup')
        subgroup.create_dataset('test_numpy',data=x)
        subsub = subgroup.create_group('subsub')
        subsub.create_dataset('test_numpy',data=x)
    
    

     

    2、读取数据

    """
        keys() : 获取本文件夹下所有的文件及文件夹的名字
        f['key_name'] : 获取对应的对象    
    """
    def read_data(filename):
        with h5py.File(filename,'r') as f:
    
            def print_name(name):
                print(name)
            f.visit(print_name)
            print('---------------------------------------')
            subgroup = f['subgroup']  
            print(subgroup.keys())
            print('---------------------------------------')
            dset = f['test_numpy']
            print(dset)
            print(dset.name)
            print(dset.shape)
            print(dset.dtype)
            print(dset[:])
            print('---------------------------------------')
    
    read_data('test.h5')
    

     

     

    参考文章
    h5py 必知--String存储

     

     

     

     

     

     

     

    展开全文
  • 成功解决问题"h5py\h5r.pyx", line 145, in init h5py.h5r AttributeError: type object 'h5py.h5r.Reference' ha 目录 解决问题 解决方法 解决问题 File "f:\program files\python\python36\lib\...

    成功解决问题"h5py\h5r.pyx", line 145, in init h5py.h5r AttributeError: type object 'h5py.h5r.Reference' ha

     

     

    目录

    解决问题

    解决方法


     

     

    解决问题

      File "f:\program files\python\python36\lib\site-packages\PyInstaller\loader\pyimod03_importers.py", line 714, in load_module
        module = loader.load_module(fullname)
      File "h5py\h5r.pxd", line 21, in init h5py._conv
      File "<frozen importlib._bootstrap>", line 971, in _find_and_load
      File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
      File "<frozen importlib._bootstrap>", line 656, in _load_unlocked
      File "<frozen importlib._bootstrap>", line 626, in _load_backward_compatible
      File "f:\program files\python\python36\lib\site-packages\PyInstaller\loader\pyimod03_importers.py", line 714, in load_module
        module = loader.load_module(fullname)
      File "h5py\h5r.pyx", line 145, in init h5py.h5r
    AttributeError: type object 'h5py.h5r.Reference' has no attribute '__reduce_cython__'
    [25780] Failed to execute script CV_Object

     

     

    解决方法

        时间过去太久,各位网友,不好意思,解决方法,后续查明后,将会第一时间,补充完整。如果网友有正确、合理解释,欢迎留言探讨!

     

     

    展开全文
  • h5py兼容
  • Fixes h5py/h5py#1475

    2020-11-27 22:48:23
    <div><p>The most important change here is in <code>api_gen.py</code> which for the <code>H5Dget_storage_size()</code> function now generates this custom wrapper code: ...h5py/h5py</p></div>
  • <div><p>h5py fails to build when support for MPI is disabled (which is default). This problem occurs in h5py 2.3.0 and git trunk. This problem does not occur in h5py 2.2.1. <pre><code> $ python3.4 ...
  • ubuntu系统中import h5py, ImportError: No module named h5py的解决方法
  • 本文只是简单的对h5py库的基本创建文件,数据集和读取数据的方式进行介绍,作者刚接触h5py,完全靠看文档自学,如果哪里说的不对,欢迎纠正!如果读者需要进一步详细的学习h5py的更多知识,请参考h5py的官方文档。h5...
  • h5py version

    2020-11-28 06:42:41
    <div><p>As discussed in #4 , <code>h5py 2.7.0</code> is required. After downgrading <code>pip install h5py=2.7.0, I still have <pre><code> $ mpirun -n 4 python test_h5py.py hdf5_version=1.10.1...
  • h5py是围绕的薄型pythonic包装器,它在Python 3(3.6+)上运行。 网站 主要网站: : 源代码: : 邮件列表: : 安装 可以通过您的Python发行版(例如 , )安装预构建h5py,也可以通过从安装。 h5py还分布在...
  • h5py dependency

    2020-12-26 18:26:33
    <div><p>In commit b5d3cca283a35a84f451b32609841d453964d987, you introduced a hard dependency on h5py, that is, <code>import meshio</code> ends up failing with <code>ImportError</code> if h5py is not ...
  • h5py学习

    2020-09-28 10:14:37
    h5py学习 一、基础知识 (一)安装 【Anaconda3安装】 conda install h5py 【Miniconda安装】 enpkg h5py 【pip安装】 pip install h5py 【MacOS】:使用brew 安装 【源码安装】 安装组件:python的...
  • Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略目录h5py的简介WebsitesInstallationReporting bugsh5py的安装h5py的使用方法1、写入数据2、读取数据h5py的简介 使用h5py库读写超过内存的大数据 。...
  • h5py error

    2020-12-08 21:41:51
    h5py/_objects.pyx in h5py._objects.with_phil.wrapper() h5py/_objects.pyx in h5py._objects.with_phil.wrapper() h5py/h5f.pyx in h5py.h5f.open() OSError: Unable to open file (truncated file: eof =...
  • 将批量的图片储存到h5py中,代码如下:from scipy import miscimport h5pyimport numpy as npf = h5py.File(“myh5py.hdf5”, “w”) #创建h5py文件d1 = f.create_dataset(“train_X_orig”, (6, 64, 64, 3), ‘i’)...
  • 问题: win7(64位)+ tensorflow1.5 ...fid = h5f.open(name, flags, fapl=fapl) File "h5py\_objects.pyx", line 54, in h5py._objects.with_phil.wrapper File "h5py\_objects.pyx", line 55, in h5py._objects.with
  • 最近看源码遇到了h5py库,于是去简单了解了一下对于深度学习而言,跑程序的时候经常会在加载数据集的时候出现Memory error,感觉python的h5py包处理数据集非常方便,导入数据时,并不会占据内存空间安装conda ...
  • copying h5py/h5py_warnings.py -> build/lib.linux-x86_64-3.7/h5py creating build/lib.linux-x86_64-3.7/h5py/_hl copying h5py/_hl/<strong>init</strong>.py -> build/lib.linux-x86_64-3.7/h5py/_hl ...
  • ERROR: Could not build wheels for h5py which use PEP 517 and cannot be installed directly 问题:ERROR: Could not build wheels for h5py which use PEP 517 and cannot be installed directly 解决方法:安装...
  • 解决H5py 初始化问题:ImportError:DLL failed to load 最近在做毕业设计,突然发现原本可以在学校跑的代码,在家出BUG! 问题:H5py找不到 h5.pyx文件 此问题我理解为,在初始化h5py的时候,文件缺失,导致DLL; ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,330
精华内容 3,732
关键字:

h5py