python:HDF和CSV存储优劣对比分析
小数据用csv，大数据用h5
结论1：几百KB以上的数据都用h5比较好
结论2：几KB的数据h5反而很慢
程序
import pandas as pd
import numpy as np
from wja.wja_tool import test_time as tt
from wja import wja_tool as tool
df = tool.generate_sampleDF(row, col)
tt().run()
df.to_csv("try.csv")
tt().end()
tt().run()
df.to_hdf("try.h5","df",mode="w")
tt().end()
tt().run()
df1 = pd.read_csv("try.csv")
tt().end()
tt().run()
df2 = pd.read_hdf("try.h5")
tt().end()
对比1：数据10*1
df = tool.generate_sampleDF(10,1)
# csv保存
# hdf保存
# csv读取
# hdf读取
程序用时:0.017
程序用时:1.1016
程序用时:0.01
程序用时:0.013
对比3：数据1000*100
df = tool.generate_sampleDF(1000,100)
# csv保存
# hdf保存
# csv读取
# hdf读取
程序用时:2.0895
程序用时:1.0073
程序用时:0.4055
程序用时:0.0169
对比5：数据10000*1000
# csv保存
# hdf保存
# csv读取
# hdf读取
df = tool.generate_sampleDF(10000,1000)
如上图，我们可以将其写为列表形式，前两位是从小到大的的两个点，最后一个代表权值，如
[1, 2, 2] 代表1和2之间的权值是2，以此类推
n,m = 5, 10
road = [[1, 2, 2], [1, 3, 3], [1, 4, 7], [1, 5, 2],
[2, 3, 4], [2, 4, 9], [2, 5, 5], [3, 4, 4],
[3, 5, 5], [4, 5, 3]]
def hold(list1, list2):
jiaoji = list(set(list1)&set(list2))
need = [i for i in set(list1+list2) if i not in jiaoji]
need.sort()
return need
def get(road):
option = {}
for i in range (m):
option[(road[i][0],road[i][1])] = [road[i][2]]
for i in range (m):
for j in range(i+1,m):
dot = hold(road[i][:2], road[j][:2])
if len(dot)==2:
if (dot[0],dot[1]) in option.keys():
option[(dot[0],dot[1])].append(max([road[i][2],road[j][2]]))
else:
option[(dot[0],dot[1])] = []
option[(dot[0],dot[1])].append(max([road[i][2],road[j][2]]))
road_new = []
for i in option.items():
road_new.append(list(i[0])+[min(i[1])])
if road==road_new:
print(road_new)
return road_new
return get(road_new)
输出结果
所有可能的走法如下，并且最后一位输出最短的权值路径。
例如 [2, 3, 3]：代表 从2走到3最短的权值路径是3，对应路径从图中可以到是2-1-3
例如 [3, 5, 3]：代表 从3走到5最短的权值路径是3，对应路径从图中可以到是3-1-5
[[1, 2, 2], [1, 3, 3], [1, 4, 3], [1, 5, 2], [2, 3, 3],
[2, 4, 3], [2, 5, 2], [3, 4, 3], [3, 5, 3], [4, 5, 3]]
以上这篇python:HDF和CSV存储优劣对比分析就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持云海天教程。
python:HDF和CSV存储优劣对比分析相关教程

小菲尼今天写一下如何对差异吧！不知道你们经不经常用到，但是小菲尼每日工作几乎都会用到噢！
多学点，总有好处的！下面我们利用数据透视表对比分析两个表格的差异。
有两个表格数据，它们的各行数据可能顺序不同，具体数据也可能有差异，有的数据可能只存在一个表格中。怎样快速把这两个表格的差异找出来？这就是对比分析两个表格差异的问题。
对比分析两个表格数据有很多方法，常用的是使用函数进行数据匹配查找，但这种方法很是烦琐，得到的结果也不直观。
下面给大家介绍一个非常实用的方法是利用数据透高表来解决此类问题，这种方法得到的结果比较直观。
上图中有2张表格，统计的是现有库存每个年份的货品还有多少。
大家可以看到蓝色和绿色的表格有些数据是不一样的，那现在我们如何快速无误的吧差异给找出来呢？
这两个工作表中的数量是数字，现在需要把这两个工作表放在一起做差异比较，并把两个工作表中不同的数据用红色显示。
操作方法：
1、打开数据透视和数据透视图向导，然后选择【多重合并计算数据区域】选项，点击【下一步】，到向导步骤第2步，按默认选项【创建单页字段】继续下一步。
2、在【选定区域】把光标放置输入框中，然后用鼠标选择【蓝色表格】工作表的数据区域，然后点击【添加】，则工作表【蓝色表格】的数据区域就被添加到【所有区域】列表框中。
3、依据上一步的操作方法，将【绿色表格】工作表中的数据区域也添加到【所有区域】列表框中。
4、单击【下一步】，进行数据透视表和数据透视图向导第3步对话框，选择【新建工作表】单选按钮，单击完成，得到一张基本汇总表。
5、下面对数据视表进行布局调整，将字段【页1】拖放到【列字段】，字段【页1】下的两个项目“项1”就是蓝色表格和，“项2”就是绿色表格。
我们从上图就可以非常方便地看出，在两个工作表中，【蓝色表格】和【绿色表格】哪些数据有差异。
最后，我们可以按CTRL+1调出条件格式进行设置，当两个工作表数据不同时，就用红色加粗字体表示。
利用数据透视表找差异就是这样做的！不懂的可以评论留言，有什么好的建议也可以评论留言，大家互相学习哈！

有同学反应说stargazer包输出的结果似乎是乱码，而不是相关的漂亮的表格，今天我们一起再看一下这个包的说明文档，目前就我自己的经验，学习一个新的包还是要看包的说明文档的。
前言
stargazer 是一个可以给自己数据分析出来的结果表格输出为LATEX code, HTML code and ASCII text的一个包，而且输出的LATEX code, HTML code and ASCII text形成的最终的展现方式都是出版级的品质。
为什么要用stargazer
stargazer有3个方面的优势：易用、支持多种模型输出、美观。
关于这三方面的的优势，我之前的文章有写，大家可以自己查阅。
总之这个包是世界上很多科研教学人员常常会选择的R-to-LATEX的包。说白了它要干的事就是把我们的输出映射到LATEX排版系统中、或者text、或者html。
问题复现
今天小伙伴的问题是自己的输出的是LATEX码而非html表格。
这个也不算是一个问题，因为这个包默认就是输出latex的code的。如下
问题复现
看看包的说明：
The default setting produces LaTeX code, the additional alternatives are: 
•Output as text, which allows a quick view of results 
•Output as html, which produce editable tables for Word documents.
看上面的说明，默认输出LaTeX code，当然我们还可以输出text与html。
怎么做呢？比如我们就要输出为html，看代码：
> library(stargazer)> stargazer(attitude,type="html",out = "codewar.htm")
我们只要加上type和out两个参数就好啦，然后你就可以在你的目录中找到codewar.htm这个文件，然后选择在浏览器打开就行啦。打开如下图：
到这儿就完美解决啦，当然啦，要输出text也是一个样的操作，希望对大家有帮助。
小结
今天算是写了一个答疑帖，也怪之前写的不够细致，希望这个文章可以解决大家的问题并欢迎大家留言，还有我在百度云上上传了关于stargazer的一个ppt，大家私信就好。感谢大家耐心看完。发表这些东西的主要目的就是督促自己，希望大家关注评论指出不足，一起进步。内容我都会写的很细，用到的数据集也会在原文中给出链接，你只要按照文章中的代码自己也可以做出一样的结果，一个目的就是零基础也能懂，因为自己就是什么基础没有从零学Python和R的，加油。
(站外链接发不了，请关注后私信回复“数据链接”获取本头条号所有使用数据)
往期内容：
R数据分析：stargazer给你一个漂亮的可以直接发表的结果表格
 python数据分析：删除与重命名dataframe的行与列
 R数据分析：何为Tidy data，它又有什么好处
 python数据分析：pandas的converters参数
 R数据分析：在tidyverse中“do”起什么作用
 R数据分析：tidyverse中常用的解析函数总结
 R markdown代码个性化控制操作，小白总结 

	

很高兴与大家分一篇图表设计文章，用复选框实行图表控制，如果有兴趣的朋友看一下我们操作。
【点击播放视频】
下图做了四个复选框，销售、成本、费用、利润。选择不同选项，会自动显示趋线图。这样有利于更加直观看到相关对比分析。
1、建立一个1-31日销售、成本、费用、利润表格。这个应该简单，大家按此表设计一张即可。
2、建立一张空白销售、成本、费用、利润取数表格，在31日下面多一行，分析。
3、开发工具-插入-复选框，建立四个，分别销售、成本、费用、利润。
4、选中【复选框】，设置控件格式。
5、单元格链接，选择取数表，最后一行分析，相对应项目，分析单元格。比如分析，为D35，那么就选中这个单元格就可以。几个复选框单元格链接按上述方法进行设置，销售、成本、费用、利润，都设成相应的单元格。
6、取数表公式设置
销售公式：=IF(D$35,录入数据!D4,"")
成本公式：=IF(E$35,录入数据!E4,"")
费用公式：=IF(F$35,录入数据!F4,"")
利润公式：=IF(G$35,录入数据!G4,"")
几个公式设好以后，从1日这一行往下拉到31日这行为止。
7、选中取数表相应数据区域，插入图表。
8、图表复制到刚才放复选框那一页工作表上面，然后进行排版和美化。
把图表置于底层，按格式，下移一层，如果四个复选框，就按4次。
9、美化过程省略。
作者：南哥