精华内容
下载资源
问答
  • 我将运行大量的模拟,产生大量的数据,这些数据需要在以后存储和访问。我的模拟程序的输出数据被写入文本文件(每个...具体情况如下:我的数据基本上采用多维数组的形式,其中每个条目都将如下所示:data[ stringAr...

    我将运行大量的模拟,产生大量的数据,这些数据需要在以后存储和访问。我的模拟程序的输出数据被写入文本文件(每个模拟一个)。我计划编写一个Python程序来读取这些文本文件,然后以更便于以后分析的格式存储数据。经过一段时间的搜索,我想我正遭受信息过载的困扰,所以我把这个问题放到堆栈溢出中寻求一些建议。具体情况如下:

    我的数据基本上采用多维数组的形式,其中每个条目都将如下所示:data[ stringArg1, stringArg2, stringArg3, stringArg4, intArg1 ] = [ floatResult01, floatResult02, ..., floatResult12 ]

    每个参数的潜在值大致如下:

    字符串arg1:50

    字符串arg2:20

    字符串arg3:6

    字符串arg4:24

    图1:10000

    但是请注意,数据集是稀疏的。例如,对于给定的stringArg1值,将只填充stringArg2的大约16个值。另外,对于给定的(stringArg1,stringArg2)组合,将填充大约5000个intArg1值。第3个和第4个字符串参数总是完全填充。在

    因此,使用这些数字,我的数组将有大约50*16*6*24*5000=576000000个结果列表。在

    我正在寻找存储这个数组的最佳方法,这样我就可以保存它并在以后重新打开它,以添加更多数据、更新现有数据或查询现有数据以进行分析。到目前为止,我已经研究了三种不同的方法:关系数据库

    PyTables

    使用元组作为字典键的Python字典(使用pickle保存和重新加载)

    在这三种方法中我都会遇到一个问题,我总是将(stringArg1、stringArg2、stringArg3、stringArg4、intArg1)的每个元组组合存储为表中的字段,或作为Python字典中的键。从我(可能是天真的)的观点来看,这似乎没有必要。如果这些都是整型参数,那么它们只会形成数组中每个数据项的地址,就不需要在单独的字段中存储所有可能的地址组合。例如,如果我有一个2x2数组=[[100,200],[300,400]],你可以通过在地址数组[0][1]上请求值来检索值。您不需要将所有可能的地址元组(0,0)(0,1)(1,0)(1,1)存储到其他地方。所以我希望能找到一个解决这个问题的办法。在

    我希望能够在PyTables中定义一个表,其中第一个表中的单元格包含其他表。例如,顶级表将有两列。第一列中的条目将是stringArg1的可能值。第二列中的每个条目都是一个表。这些子表将有两列,第一列是stringArg2的所有可能值,第二列是子表的另一列。。。在

    这种解决方案将很容易浏览和查询(尤其是如果我可以使用vitalables来浏览数据)。问题是PyTables似乎不支持一个表的单元格包含其他表。所以我似乎在那里遇到了一个死胡同。在

    我已经阅读了数据仓库和星型模式方法,但事实表似乎仍然需要包含每个可能的参数组合的元组。在

    好吧,那就是我现在的处境。任何和所有的建议将不胜感激。在这一点上,我一直在四处寻找,以至于我的大脑受伤了。是时候请专家们想想了。在

    展开全文
  • 1、Python数据存储(压缩)(1)numpy.save , numpy.savez , scipy.io.savematnumpy和scipy内建的数据存储方式。(2)cPickle + gzipcPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。(3)h5pyh5py是对HDF5...

    1、Python数据存储(压缩)

    (1)numpy.save , numpy.savez , scipy.io.savemat

    numpy和scipy内建的数据存储方式。

    (2)cPickle + gzip

    cPickle是pickle内建的数据存储方式,gzip是常用的文件压缩模块。

    (3)h5py

    h5py是对HDF5文件格式进行读写的python包,关于h5py更多介绍与安装,参考官方网站

    关于HDF5,参考官方网站。:

    一个HDF5文件就是一个由两种基本数据对象(groups and datasets)存放多种科学数据的容器:

    HDF5 dataset: 数据元素的一个多维数组以及支持元数据(metadata); HDF5 group: 包含0个或多个HDF5对象以及支持元数据(metadata)的一个群组结构;

    总之,dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group;group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。

    h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!

    2、h5py读取和存储数据示例

    import h5py

    X= np.random.rand(100, 1000, 1000).astype('float32')

    y = np.random.rand(1, 1000, 1000).astype('float32')

    # Create a new file

    f = h5py.File('data.h5', 'w')

    f.create_dataset('X_train', data=X)

    f.create_dataset('y_train', data=y)

    f.close()

    # Load hdf5 dataset

    f = h5py.File('data.h5', 'r')

    X = f['X_train']

    Y = f['y_train']

    f.close()

    详细使用方法,参考官网。

    以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

    时间: 2019-12-25

    展开全文
  • 测试如下: image = cv2.imread("./data/testImages/40.jpg") print(image.shape) # 输出:(高,宽,通道) arr = np.arange(1, 13).reshape(2, 2, 3) ...4 arr[1,0,0]= 7 arr[1,1,0]= 10 三维数据具体对应关系: :

    测试如下:

    image = cv2.imread("./data/testImages/40.jpg")
    print(image.shape)  # 输出:(高,宽,通道)
    arr = np.arange(1, 13).reshape(2, 2, 3)
    print(arr.shape)
    print("arr=", arr)
    print("arr[0,0,0]=", arr[0,0,0])
    print("arr[0,1,0]=", arr[0,1,0])
    print("arr[1,0,0]=", arr[1,0,0])
    print("arr[1,1,0]=", arr[1,1,0])

    输入如下:

    (2, 2, 3)
    arr= [[[ 1  2  3]
           [ 4  5  6]]
    
          [[ 7  8  9]
           [10 11 12]]]
    arr[0,0,0]= 1
    arr[0,1,0]= 4
    arr[1,0,0]= 7
    arr[1,1,0]= 10

    三维数据具体对应关系:

     

    展开全文
  • 存储到localstorage之后可以使用, localStorage.getitem(‘data’);获取存储的内容,JSON.parse(localStorage.getitem(‘data’))将json字符串转为json数组格式 var cartstr = {}; //定义空的json对象 cartstr....

    存储到localstorage之后可以使用, localStorage.getitem(‘data’);获取存储的内容,JSON.parse(localStorage.getitem(‘data’))将json字符串转为json数组格式

                var cartstr = {}; //定义空的json对象
                cartstr.goods = []; //定义空数组
                var sum = 0;
                $(".check").each(function(){
                    if(this.checked==true){
                        var sid=$(this).attr('sid');
                        var num = $(this).parent().next().find('.num').html();
                        var img = $(this).parent().next().find("img").attr('src');
                        var price = $(this).parent().next().find(".unitprice").html();
                        var stock = $(this).parent().next().find(".stock").attr('stock');
                        var spname = $(this).parent().next().find(".zdy-spcartbox-spname").html();
                        // 每次获取一次值就在json里面追加一次
                       
                        cartstr.goods.push({'goods_id':sid,'property':[],'num':num,'img':img,'price':price,'stock':stock,'spname':spname});
                        sum+=Number(num);
                    }
                })
                cartstr.total_amount=sum;
                cartstr.total=e.order_price.total_price;
                localStorage.setitem('data',JSON.stringify(cartstr)); //存储
         
                
    

    在这里插入图片描述

    展开全文
  • 设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和...
  • 多维数据存储和写入(基于numpy库) 写入CSV文件(多维数据) a.tofile(frame,sep=’’,format=’%s’) frame:文件、字符串 sep:数据分隔字符串,如果是空串,写入文件是二进制。 format:写入文件的格式。 读出...
  • 近期很是困惑 一幅图像是如何在多维数据中存储,BGR的数据存格式和多维数据存储的联系,因此用了一张3X3的彩色图像做了个简单的实验。 import cv2 import os import numpy as np path = "./test.jpg" image =cv2....
  • 从零开始学java(二十四)--多维数组多维数组多维数组存储表格数据 多维数组 多维数组可以看成以数组为元素的数组。可以有二维、三维、甚至更多维数组,但是实际开发中用的非常少。最多到二维数组(学习容器后,我们...
  • 多维数据库的数据存储

    千次阅读 2011-08-27 16:45:53
    多维数据库中二维数据很容易理解,维数...在MDDB中,其数据存储是由许多类似于数组的对象来完成 。 对象中包含了经过高度压缩的索引和指针。每个对象由聚集成组的单元块组成,每个单元块都按类似于多维数组的结构
  • 存储多维数据(转)

    2010-04-15 16:29:04
    怎样存储多组相关的数据解决办法使用多维数组存储讨论除了一维数组,还可以创建多维数组,比如beginGradientFill() 方法使用三个平行数组表示colors, alphas, 和ratios ,每个数组都有相同的下标。创建平行数组,...
  • 在当前的数据分析领域中,多维数据分析有着先进的数据分析理念,作为一项新兴技术一直以来都备受企业的青睐。 多维数据分析是指按照多个维度(即多个角度)对数据进行观察和分析,多维的分析操作是指通过对多维形式...
  • 多维数据模型

    2018-12-26 13:42:16
    多维数据模型是数据仓库的一大特点,也是数据仓库应用和实现的一个重要的方面,通过在数据的组织和存储上的优化,使其更适用于分析型的数据查询和获取。 多维数据模型的定义和作用 多维数据模型是为了满足用户从多...
  • SSAS系列——【03】多维数据多维数据集对象) ... 基本信息包括多维数据集的名称、多维数据集的默认度量值、数据源和存储模式等。维度是多维数据集中使用的实际维度组。所有维度都必须先在数据库的维度集合中定义...
  • 多维数据

    千次阅读 2016-10-25 17:48:25
    您为什么应该构建多维数据集? 将数据移出您的企业数据库并移入称作“数据市场”的结构中。查询数据市场当然具有其好处,并可能足以... 构建用来存储数据的多维数据集的另一个好处是,对于不能轻松存储在关系数据市场
  • 数据仓库与OLAP实践 第3章多维数据分析基础与方法 心3.1多维数据分析基础 3.2多维数据分析方法 33维度表与事实表的连接 3.4多维数据存储方式 35小结 3.1多维数据分析基础 多维数据分析是以数据库或数据仓库为基础...
  • 两个问题分别为多维数据存储和多维数据操作,是数据分析和机器学习的科研工作中最常遇见的问题。 常见的多维度数据有:真彩图、遥感影像图、医学影像图,最近比较火的深度图等等。 多维数据的特点: 数据量大,单个...
  • 但不得不承认多维数据模型是数据仓库的一大特点,也是数据仓库应用和实现的一个重要的方面,通过在数据的组织和存储上的优化,使其更适用于分析型的数据查询和获取。 多维数据模型的定义和作用  多维数据模型是...
  • 数据仓库多维数据模型概念介绍

    千次阅读 2019-11-15 16:16:44
    操作性数据库与数据仓库区别 操作型数据库主要考虑的是事务型处理,一般采用E-R模型进行建模。 数据仓库主要面向分析,设计数据仓库时...多维数据模型采用多维结构文件进行数据存储,并有索引及相应元数据管理文...
  • CSV文件 用逗号分隔,是一种常见的文件格式,用来存储批量数据;csv是excel的文件格式写入文件的函数np.savetxt(fram,array,fmt='%.18e',delimiter=None)frame: 文件、字符串或产生器,可以是.gz或者.bz2压缩文件(要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,540
精华内容 1,016
关键字:

多维数据存储