精华内容
下载资源
问答
  • python读取和保存json文件
    万次阅读 多人点赞
    2019-12-30 21:01:37

    json文件是一种常见的数据存储文件,比txt看着高级点,比xml看着人性化一点。

    同时,json作为一种通用协议的文件格式,可以被各种语言方便地读取。所以,json非常适合用来存储结构化的数据

    json的具体介绍和使用规范:https://www.json.org/json-en.html


    本文将关于python读取json做一个小小的记录和总结。

    1. 读取json

    一般情况下的json文件,存储的是python中的一个dict。

    如在"dabao.json"中有以下内容:

    {
        "name": "dabao",
        "id":123,
        "hobby": {
            "sport": "basketball",
            "book": "python study"
        }
    }

    需要读取"dabao.json"的话,python脚本可以这么写:read_json.py

    import json
    f = open('dabao.json', 'r')
    content = f.read()
    a = json.loads(content)
    print(type(a))
    print(a)
    f.close()
    

    注意,需要先用open来读取文件,再用json.loads()将读取内容转化为python字典

    2. python将字典保存成json

    直接给代码:

    import json
    a = {
        "name": "dabao",
        "id":123,
        "hobby": {
            "sport": "basketball",
            "book": "python study"
        }
    }
    b = json.dumps(a)
    f2 = open('new_json.json', 'w')
    f2.write(b)
    f2.close()
    

    首先通过json.dumps()把dict降级为字符串。再将字符串写入json文件中。就是这么简单。

     

    更多相关内容
  • 在参加各种机器学习比赛的时候,有时候要读取几百M甚至几个G 的表格数据,为了使读取速度加快,使用一种新的方法,把.csv格式格式的文件转存为.feather格式,再用read_feather读取,速度大大可以大大提升。...

    在参加各种机器学习比赛的时候,有时候要读取几百M甚至几个G 的表格数据,为了使读取速度加快,使用一种新的方法,把.csv格式格式的文件转存为.feather格式,再用read_feather读取,速度可以大大提升。

    1.将表格数据保存为feather格式

    保存的数据大小:

    train_data.info()
    

    在这里插入图片描述
    将Dataframe格式的数据以feather格式储存

    train_data.to_feather("train.feather")
    
    2.读取
    time1 = time()
    train_data = pd.read_csv("train.csv")
    time2 = time()
    print("use csv to read:", time2 - time1,"s")
    
    time1 = time()
    train_data = pd.read_feather("train.feather")
    time2 = time()
    print("use feather to read :", time2-time1, "s")
    

    在这里插入图片描述
    读取csv格式用了9.5S
    而feather格式的只用了1.2s

    展开全文
  • 在许多应用的需求中,希望将输入,或捕获图像记录到输出视频流中,并保存成一个完整的视频,OpenCV提供了一种简单的方法。正如【opencv四】利用opencv读取显示视频和【opencv七】利用opencv调用电脑摄像头中用到的...

    在许多应用的需求中,希望将输入,或捕获图像记录到输出视频流中,并保存成一个完整的视频,OpenCV提供了一种简单的方法。正如【opencv四】利用opencv读取显示视频【opencv七】利用opencv调用电脑摄像头中用到的可以从视频流中捕获到一个一个的帧,并将这些帧逐一显示。我们也可以创建一个写入功能,使得这一个个的帧能够逐一被放入到视频中。在opencv中cv::VideoWriter类就可以实现这个功能。

    下面程序段的功能为:调整输入视频的播放速度,并将新速度的视频保存为.avi文件。主要操纵的就是一个参数:帧率(fps)。

    #include "opencv2/opencv.hpp"
    #include <iostream>
    using namespace cv;
    
    int main()
    {
    	String out_path = "H:\\vs2017\\opencv_learning\\ConsoleApplication1\\out1.avi";
    	namedWindow("Example6", WINDOW_AUTOSIZE);
    	namedWindow("Log_Polar", WINDOW_AUTOSIZE);
    
    	VideoCapture cap;
    	cap.open("H:\\vs2017\\opencv_learning\\ConsoleApplication1\\video1.mp4");
    
    	double fps = cap.get(CAP_PROP_FPS)*2;
    	Size size((int)cap.get(CAP_PROP_FRAME_WIDTH), (int)cap.get(CAP_PROP_FRAME_HEIGHT));
    
    	VideoWriter writer;
    	writer.open(out_path, CV_FOURCC('M', 'J', 'P', 'G'), fps, size, isColor=true);
    
    	Mat gry_frame, bgr_frame,cny_frame;
    	while (1)
    	{
    		cap >> bgr_frame;
    		if (bgr_frame.empty()) break;
    		imshow("Example6",bgr_frame);
    
    	
    		imshow("Log_Polar", bgr_frame);
    		writer << bgr_frame;
    
    
    		//按Esc键退出while
    		char c = waitKey(10);
    		if (c == 27) break;
    
    	}
    	cap.release();
    
    	//getchar();
    	return 0;
    
    }
    

    上述代码中主要的操作就是对cv::VideoWriter这个类实例化出来的writer对象的操作。

    writer.open(out_path, CV_FOURCC('M', 'J', 'P', 'G'), fps, size);
    

    该函数有以下几个参数:

    • out_path: 该参数是写入视频后,保存avi文件的路径+文件名
    • CV_FOURCC(‘M’, ‘J’, ‘P’, ‘G’):确定输出视频的编码规则。

    四个字符用来表示压缩帧的codec 例如:
    CV_FOURCC(‘P’,‘I’,‘M’,‘1’) = MPEG-1 codec
    CV_FOURCC(‘M’,‘J’,‘P’,‘G’) = motion-jpeg codec
    CV_FOURCC(‘M’, ‘P’, ‘4’, ‘2’) = MPEG-4.2 codec
    CV_FOURCC(‘D’, ‘I’, ‘V’, ‘3’) = MPEG-4.3 codec
    CV_FOURCC(‘D’, ‘I’, ‘V’, ‘X’) = MPEG-4 codec
    CV_FOURCC(‘U’, ‘2’, ‘6’, ‘3’) = H263 codec
    CV_FOURCC(‘I’, ‘2’, ‘6’, ‘3’) = H263I codec
    CV_FOURCC(‘F’, ‘L’, ‘V’, ‘1’) = FLV1 codec
    NOTE:生成文件占用空间最小的编码方式是MPEG-4.2 codec。在VideoWriter类的构造函数参数为CV_FOURCC(‘M’, ‘P’, ‘4’, ‘2’) 。
    最大的是MPEG-1 codec,对应在VideoWriter类的构造函数参数为CV_FOURCC(‘P’,‘I’,‘M’,‘1’) ,所占磁盘空间是前者的5.7倍。所以如果需要24小时全天候录制监控,可以优先使用MPEG-4.2的编解码方式。
    若编码器代号为 -1,则运行时会弹出一个编码器选择框.

    • fps:该参数表示输出视频的帧率,本例子中就是将帧率改成了原始视频的两倍,实现倍速播放。
    • size:该参数指定了输出视频每帧图像的大小,本例子中该值来自于原始视频帧的大小。
    • isColor:如果非零,编码器将希望得到彩色帧并进行编码;否则,是灰度帧(只有在Windows下支持这个标志)。

    如下面两幅图所示,上方的为输入视频,下方为通过处理后的avi视频。可以看到相同的视频,下方只有5s钟的时间,原因是进行了倍速处理。倍速的速度可以自行调节。

    输入视频输出视频

    展开全文
  • 如何提升PS打开与保存文件速度

    千次阅读 2018-05-09 10:16:29
  • C# dotnet 将 Stream 保存文件的方法

    千次阅读 2020-06-17 16:01:50
    在拿到一个 Stream 如何优雅将这个 Stream 保存到代码 最优雅的方法应该是通过 CopyTo 或 CopyToAsync 的方法 using (var fileStream = File.Create("C:\\lindexi\\File.txt")) { inputStream.Seek(0, ...
  • 默认桌面文件保存路径是存放在C盘,但是时间久了桌面文件就会越来越多,导致C盘空间越来越小,从而影响了系统运行速度,所以我们可以更改桌面文件路径到其他盘符,接下来给大家分享一下win7修改桌面文件保存路径的...
  • 今天偶然发现自己使用ffmepg从摄像头采集然后保存文件,使用播放器播放,速度很快,网上查了很多资料都说是帧率的问题,可特么倒是说明白啊,帧率帧率,你倒是说明白帧率错在哪啊。最后自己摸索,发现所谓的帧率问题...
  • 打开 setting.json 删除这个配置即可解决问题: “editor.codeActionsOnSave” 重启 正常保存
  • 新版的Matlab软件动辄40~50G,装一次软件也够喝一壶了,我们换软件的速度显然是无法跟上Matlab更新速度的。 m文件还好,每次软件更新涉及到的m函数,对于一般用户基本不会用到,因此m文件在各个版本的Matlab软件...
  • 上传大文件的解决方案

    万次阅读 2018-05-06 19:18:18
    上传大文件的解决方案需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制。第一步:前端修改由于项目...
  • 适用于 Word 2003,2007,2010,2013,2016,2019 ...当用户开启、编辑或保存Word文件时可能出现以下问题:「无法打开文件,因为发现其内容有问题」、「Windows 10 下 Word 2016开启旧文件发生崩溃」、「W
  • 说到传输文件,我们可能很容易想到使用微信或者QQ发送文件,如果没有连接网络的话,可以考虑使用U盘或数据线,当然也可以使用第三方的共享文件,比如说茄子快传。以上方法的缺点自然是很明显的,微信QQ等方式需要联...
  • java上传文件速度优化

    万次阅读 2018-04-12 14:28:30
    // 保存文件地址,用于JSP页面回显 model.addAttribute( "fileUrl" , path + newFileName); return bo; } 主要是 FileChannel fcIn = in .getChannel () ; FileChannel fcOut = out .getChannel...
  • 你的文件有多?2G?4G?10G?20G?40G?80G?100G?通过网络大文件传输一直是个很麻烦的事情。方法很多,但好用的特别少让我们一起来盘点下目前网络上文件传输的办法:qq文件传输:大小限制2G,速度一般1、2M左右...
  • Hosts文件无法保存解决方法

    万次阅读 2018-06-11 16:04:14
    Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”,当用户在浏览器中输入一个需要登录的网址时,系统会首先自动从Hosts文件中寻找...
  • 首先,对于大家而言,想必对网络传输并不陌生,因为我们每天都在下载“文件”。嘻嘻!!!但是如果让我们自己写一个网络文件传输的程序,估计大家都傻眼了,今天小编就给大家以最简单的方式,让C#初学者能够快速开发...
  • 互联网大文件的传输方式

    千次阅读 2019-06-25 14:02:21
    在我们使用互联网的过程中,特别是一些企业级的用户,经常会需要传输一些大型文件给别人,比如一些视频音频,庞大的数据信息,较的应用程序,游戏等等,但是又不知道该如何发送大文件,下面将会介绍几种不同的传输...
  • 加快Http上传速度?

    千次阅读 2016-11-21 16:54:19
    可以修改注册表来加快HTTP上传速度 (没有进行测试~)使用HTTP协议上传比较文件档案,比如通过Web方式在邮箱里发送包含较附件的邮件,附件上传的时间往往会拖很久。 微软表示这与带宽无关,而是因为系统Winsock...
  • cad作为国际上非常受欢迎的计算机辅助设计工具,很多用户在开发系列绘图时都是最好的助手,但最近有些用户发现cad想在自己的电脑上c打开文件卡死l了,下面小编就来告诉大家cad文件不大但是打开特别卡的解决方案。...
  • 编者荐语 平时生活中,常需要在不同设备间临时传输文件或文本,比如你打印时需要把文件从一台...大家都知道,平时用微信传文件文件大小被限制在100M以内,并且有时候速度也并不理想,稍微一点的文件就不得不用云盘
  • Java极速读取超大文件(附源代码)

    万次阅读 热门讨论 2019-07-11 20:00:53
    Java极速读取超大文件Java读取超大文件的几种...在这里必须说明一下,此处所说的超大文件,是指至少2G以上,可能是10G或者更文件内容是单行可处理的类型,通常为csv文件。好了,前提已说明,让我们快速进入主题...
  • 在java里面文件上传的方式很多,最简单的依然是FileInputStream、FileOutputStream了,在这里我列举3种常见的文件上传方法代码,并比较他们的上传速度(由于代码是在本地测试,所以忽略网速的影响)还是老规矩,大神...
  • 使用hosts加快网站访问速度

    千次阅读 2020-05-10 12:13:37
    我们在浏览网页时候,有时候会发现网站响应速度比较慢,我们可以考虑利用 hosts 文件保存域名和 IP 的映射关系,浏览器访问网站的一个原理就是,在浏览器现在自己缓存中找域名和 ip 的映射关系,找不到就去本地 ...
  • settings.py中ITEM_PIPELINES中数字代表执行顺序(范围是1-1000),参数需要提前配置在settings.py中(也可以直接放在函数中,这里主要是放在settings.py中),同时settings.py需要配置开启一、scrapy自带的保存方式...
  • -- 失败日志还需要记录在日志文件中,日志文件采用10个10M的日志文件循环覆盖的方式,不至占满硬盘空间 --> <!-- files in general, please contact the logback user mailing list --> <!-- at...
  • [Hadoop]大量小文件问题及解决方案

    万次阅读 2016-12-25 15:34:09
    1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块(block)大小(默认64MB)的文件。如果存储小文件,必定会有大量这样的小文件,否则你也不会使用Hadoop(If you’re storing small files, then you ...
  • 怎么远程传输大文件

    万次阅读 2019-06-27 18:02:32
    在日常工作中,我们常常会遇到将电脑的文件,特别是大文件资料进行传输,比如设计稿件,软件开发包,视频素材等等大文件资料进行传输发送。虽然网络通信技术不断发展,对数据量,高频次,远距离的文件传输成为我们...
  • tensorflow模型的持久化:保存与测试pb文件

    万次阅读 热门讨论 2019-01-16 17:37:36
    tensorflow模型的持久化:生成pb文件介绍pb文件把模型保存成pb文件pb文件输出测试参考 介绍 最近在做模型的量化,量化的模型是人脸检测网络mtcnn,我从Onet开始入手,原先这个模型使用的权重文件是ckpt,这种存储...
  • 几个方法帮你加快Python运行速度

    万次阅读 多人点赞 2019-05-28 16:25:42
    Cpython的安装: pip install Cython Cpython的使用: 06 尽量使用csv替代xlsx 在进行数据处理时, 我需要更长的时间才能将数据加载到excel文件或从excel文件保存数据。 相反,我选择了创建多个csv文件的路径,并...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 644,035
精华内容 257,614
关键字:

如何加快大文件保存速度

友情链接: VSCTrans.rar