精华内容
下载资源
问答
  • 使用pandas读取excel

    万次阅读 多人点赞 2018-10-30 15:53:01
    目录 1、io,Excel的存储路径 2、sheet_name,要读取的工作表名称 3、header, 用哪一行作列名 4、names, 自定义最终的列名 5、index_col, 用作索引的列 6、usecols,需要读取哪些列 7、squeeze,当数据仅包含一...

    本文为作者原创,未经允许不得擅自转载。

    Excel是微软的经典之作,在日常工作中的数据整理、分析和可视化方面,有其独到的优势,尤其在你熟练应用了函数和数据透视等高级功能之后,Excel可以大幅度提高你的工作效率。但如果数据量超大,Excel的劣势也就随之而来,甚至因为内存溢出无法打开文件,后续的分析更是难上加难。那么,有什么更好的解决办法吗?工欲善其事,必先利其器,在这里我们介绍使用Python的pandas数据分析包来解决此问题。

    pd.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, 
                  usecols=None, squeeze=False,dtype=None, engine=None, 
                  converters=None, true_values=None, false_values=None, 
                  skiprows=None, nrows=None, na_values=None, parse_dates=False, 
                  date_parser=None, thousands=None, comment=None, skipfooter=0, 
                  convert_float=True, **kwds)
    

    pandas读取Excel后返回DataFrame,接下来我们就pd.read_excel()的常用参数进行详细解析。


    目录

    1、io,Excel的存储路径

    2、sheet_name,要读取的工作表名称

    3、header, 用哪一行作列名

    4、names, 自定义最终的列名

    5、index_col, 用作索引的列

    6、usecols,需要读取哪些列

    7、squeeze,当数据仅包含一列

    8、converters ,强制规定列数据类型

    9、skiprows,跳过特定行

    10、nrows ,需要读取的行数

    11、skipfooter , 跳过末尾n行


    【文中使用英超、西甲的排名积分榜及射手榜作为原始数据~~~】


    1、io,Excel的存储路径

    •  建议使用英文路径以及英文命名方式。
    import pandas as pd
    io = r'C:\Users\Administrator\Desktop\data.xlsx'

    2、sheet_name,要读取的工作表名称

    • 可以是整型数字、列表名或SheetN,也可以是上述三种组成的列表
    • 整型数字:目标sheet所在的位置,以0为起始,比如sheet_name = 1代表第2个工作表。

    data = pd.read_excel(io, sheet_name = 1)
    data.head()

    • 列表名:目标sheet的名称,中英文皆可。
    data = pd.read_excel(io, sheet_name = '英超射手榜')
    data.head()

    • SheetN:代表第N个sheet,S要大写,注意与整型数字的区别。
    data = pd.read_excel(io, sheet_name = 'Sheet5')
    data.head()

    • 组合列表: sheet_name = [0, '英超射手榜', 'Sheet4'],代表读取三个工作表,分别为第1个工作表、名为“英超射手榜”的工作表和第4个工作表。显然,Sheet4未经重命名。
    • sheet_name 默认为0,取Excel第一个工作表。如果读取多个工作表,则显示表格的字典。对于初学者而言,建议每次读取一个工作表,然后进行二次整合。
    data = pd.read_excel(io, sheet_name = ['英超积分榜', '西甲积分榜'], nrows = 5)
    # sheet_name = ['英超积分榜', '西甲积分榜'] ,返回两个工作表组成的字典
    data

    3、header, 用哪一行作列名

    •  默认为0 ,如果设置为[0,1],则表示将前两行作为多重索引。
    data = pd.read_excel(io, sheet_name = '英超积分榜', header = [0,1]) 
    # 前两行作为列名。
    data.head()

    4、names, 自定义最终的列名

    • 一般适用于Excel缺少列名,或者需要重新定义列名的情况。
    • 注意:names的长度必须和Excel列长度一致,否则会报错
    data = pd.read_excel(io, sheet_name = '英超射手榜', 
                         names = ['rank','player','club','goal','common_goal','penalty'])
    data.head()

    5、index_col, 用作索引的列

    • 可以是工作表列名称,如index_col = '排名';
    • 可以是整型或整型列表,如index_col = 0 或 [0, 1],如果选择多个列,则返回多重索引。
    data = pd.read_excel(io, sheet_name = '英超射手榜', index_col = '排名')
    data.head()

     

    data = pd.read_excel(io, sheet_name = '英超射手榜', index_col = [0, 1])
    data.head()

    6、usecols,需要读取哪些列

    • 可以使用整型,从0开始,如[0,2,3];
    • 可以使用Excel传统的列名“A”、“B”等字母,如“A:C, E” ="A, B, C, E",注意两边都包括。
    • usecols 可避免读取全量数据,而是以分析需求为导向选择特定数据,可以大幅提高效率。
    data = pd.read_excel(io, sheet_name = '西甲射手榜', usecols = [0, 1, 3])
    data.head()

    data = pd.read_excel(io, sheet_name = '西甲射手榜', usecols = 'A:C, E')
    data.head()
    # 啊?什么!!为啥不见C罗??
    # 大佬,C罗转会去尤文图斯啦~~~~

     

    7、squeeze,当数据仅包含一列

    •  squeeze为True时,返回Series,反之返回DataFrame。
    data = pd.read_excel(io, sheet_name = 'squeeze', squeeze  = True)
    data.head()

    data = pd.read_excel(io, sheet_name = 'squeeze', squeeze  = False)
    data.head()

    8、converters ,强制规定列数据类型

    • converters = {'排名': str, '场次': int}, 将“排名”列数据类型强制规定为字符串(pandas默认将文本类的数据读取为整型),“场次”列强制规定为整型;

    • 主要用途:保留以文本形式存储的数字。

    data = pd.read_excel(io, sheet_name = 'converters')
    data['排名'].dtype

    data = pd.read_excel(io, sheet_name = 'converters', converters = {'排名': str, '场次': float})
    data['排名'].dtype

    9、skiprows,跳过特定行

    •  skiprows= n, 跳过前n行; skiprows = [a, b, c],跳过第a+1,b+1,c+1行(索引从0开始);
    • 使用skiprows 后,有可能首行(即列名)也会被跳过。
    data = pd.read_excel(io, sheet_name = '英超射手榜', skiprows = [1,2,3]) 
    # 跳过第2,3,4行数据(索引从0开始,包括列名)
    data.head()

     

    data = pd.read_excel(io, sheet_name = '英超射手榜', skiprows = 3)
    data.head()

    10、nrows ,需要读取的行数

    • 如果只想了解Excel的列名及概况,不必读取全量数据,nrows会十分有用。 
    data = pd.read_excel(io, sheet_name = '英超射手榜', nrows = 10)
    data

    11、skipfooter , 跳过末尾n行

    data = pd.read_excel(r'C:\Users\Administrator\Desktop\data.xlsx' , 
                         sheet_name = '英超射手榜', skipfooter = 43)
    #  skipfooter = 43, 跳过末尾43行(索引从0开始)
    data

    欢迎搜索今日头条“海阔天空爱阅读”,欣赏更多文章~~

    展开全文
  • python读取、写入txt文本内容

    万次阅读 多人点赞 2019-08-22 21:54:28
    读取txt文本 python常用的读取文件函数有三种read()、readline()、readlines() 以读取上述txt为例,看一下三者的区别 read() 一次性读全部内容 一次性读取文本中全部的内容,以字符串的形式返回结果 with open...

    读取txt文本

    python常用的读取文件函数有三种read()、readline()、readlines() 
    这里写图片描述 
    以读取上述txt为例,看一下三者的区别

    read()    一次性读全部内容

    一次性读取文本中全部的内容,以字符串的形式返回结果

    with open("test.txt", "r") as f:  # 打开文件
        data = f.read()  # 读取文件
        print(data)

    è¿éåå¾çæè¿°

    readline()    读取第一行内容

    只读取文本第一行的内容,以字符串的形式返回结果

    with open("test.txt", "r") as f:
        data = f.readline()
        print(data)

    readlines()     列表

    读取文本所有内容,并且以数列的格式返回结果,一般配合for in使用

    with open("test.txt", "r") as f:
        data = f.readlines()
        print(data)

    readlines会读到换行符,可用如下方法去除:

    with open("test.txt", "r") as f:
        for line in f.readlines():
            line = line.strip('\n')  #去掉列表中每一个元素的换行符
            print(line)

     

    写入txt文本

    with open("test.txt","w") as f:
        f.write("这是个测试!")  # 自带文件关闭功能,不需要再写f.close()

     

    读写模式

    要了解文件读写模式,需要了解几种模式的区别,以及对应指针

    r :   读取文件,若文件不存在则会报错

    w:   写入文件,若文件不存在则会先创建再写入,会覆盖原文件

    a :   写入文件,若文件不存在则会先创建再写入,但不会覆盖原文件,而是追加在文件末尾

    rb,wb:  分别于r,w类似,但是用于读写二进制文件

    r+ :   可读、可写,文件不存在也会报错,写操作时会覆盖

    w+ :   可读,可写,文件不存在先创建,会覆盖

    a+ :  可读、可写,文件不存在先创建,不会覆盖,追加在末尾

    展开全文
  • Matlab读取excel文件中的数据

    万次阅读 多人点赞 2018-07-24 15:08:58
    MATLAB读取excel中的数据 读取sheet1中的数据 [num,txt,raw]=xlsread('C:\Users\Administrator\Desktop\test\a.xls') %num返回的是excel中的数据,txt输出的是文本内容,row输出的是未处理数据 %一般情况下,...

    一、 Matlab读取excel中的数据

    1.1 读取sheet1中的数据

    % num返回的是excel中的数据,txt输出的是文本内容,raw输出的是未处理数据
    [num,txt,raw]=xlsread('C:\Users\Administrator\Desktop\test\a.xls') 
    
    % 一般情况下,我们读取的是excel中的数据,所以可以直接用下面的命令,只输出数据矩阵便可
    [num]=xlsread('C:\Users\Administrator\Desktop\test\a.xls') 

    1.2 读取指定sheet中的数据

    如果想读取excel中的第二个sheet中的数据,可以输入下面命令

    % 读取excel中第二个Sheet内容
    [num]=xlsread('C:\Users\Administrator\Desktop\test\a.xls', 2)

    1.3 读取指定单元格中的数据

    %读取excel中,第二个sheet,A2-C5之间的内容
    [num]=xlsread('C:\Users\Administrator\Desktop\test\a.xls', 2, 'A2:C5')

    展开全文
  • 图像处理之Matlab图像读取

    万次阅读 多人点赞 2017-05-29 12:50:45
    说到图像处理,第一步就是图像读取。Matlab最简单的就是imread函数,本节介绍imread的用法以及容易出错的地方

    说到图像处理,第一步就是图像读取。Matlab最简单的就是imread函数,本节介绍imread的用法以及容易出错的地方
    读取图片
    正如上图所示,在Matlab文档中,imread包括以上几种用法,但并不要求都要掌握,个人觉得会用一两种,其他了解语法即可。
    我们来介绍下最最常用的语句A = imread(filename)
    我们来读取一张图片

    >> a = imread('凝视.jpg');
    >> imtool(a)
    

    duqu
    如图所示,首先注意的是语法正确A = imread(‘凝视.jpg’);
    一.正确示范。
    他的意思是在当前路径里把文件名为“凝视.jpg”的图片数据读取到A中保存,那我们可以看到在图片最右边Workspace区域放着一些数据,这就是A的数据,我们看到这张图片是3405933大小,意思是340行,593列,3通道(RGB)的图片,右边的UINT8表示8位无符号的整型类型。(后面的imtool语句用于显示图片,这个将在后续细谈)
    补充一点小知识:
    想要清空Command Window,输入命令clc
    想要清空Workspace,输入命令clear
    想要关闭所有打开的窗口,输入命令close all
    想要观看图像信息,用whos

    二.踩坑
    好了,既然我们知道正确的写法,那我们来试试有什么坑。(敢于试错是干这行的一个优秀品质)
    1.为什么要分号?
    因为matlab是按行编译,一行一行编译,不写分好,就会直接出来编译结果,给你们看个例子就明白。
    juzhen
    上面创建一个a和b矩阵,a矩阵不用分号结尾,窗口直接显示内容,而b矩阵用了分号,并不显示内容,但是可以看到编译后,在workspace已经创建两个数组矩阵,我们也可以看到,点击变量名可以看到最上面有具体的数据。同理,如果我们读取图片a = imread(‘凝望.jpg’)不写分号,那么窗口就会出现一大波数据,刷刷刷地跳出来,那酸爽,那些数据就是保存在数组里面的像素了。
    小知识:
    如果你不写变量名,比如>>imread(‘凝望.jpg’);它很默认地给你个名字叫:ans
    当你想重新写一句语句和上面相同或相似的话,可以按键盘的上箭头按钮
    箭头
    这个快捷方式可以帮助你快速地修改语句,好用。

    2.英文半角符号
    这个学过编程的都应该知道吧,别整个中文“。”,也千万别用英文的全角符号“.”,至于为什么,我不知道。Matlab会出现:File “凝视.jpg” does not exist.

    3.路径
    这个是常会犯的,你记得你有那图片,也记得图片名称,但是你没有把他放在当前的路径里你叫人家怎么找,Matlab还没有那么强大到可以全搜索你电脑里面的图片文件。同样编译会出现 : does not exist。但是还有补救的方法,你可以给它指明可以去哪里找,例如:
    zairu
    我把图片‘凝视.jpg’放在D盘的build文件下面,结果不断地出错出错如图所示,乍一看,才发现把凝视写成凝望了,再一看,把build写成bulid,哈哈,我也只是个初学者,稍粗心就犯错,借此也说明写代码确实得聚精会神啊,这点BUG还容易改,但是如果你做的是大项目,写成百上千行代码,因为拼写错误而花了几个小时那实在是亏大了。

    好了,本次文件读写就写到这里,有什么疑问可以评论大家一起讨论学习,也许我们会有思想的火花。可能说的都是很琐碎很简单的东西,只要能给你一点点收获,这篇博客就有价值了。下节继续介绍其他函数。感谢观看

    展开全文
  • OpenCV+海康威视摄像头的实时读取

    万次阅读 多人点赞 2015-12-18 11:12:09
    OpenCV+海康威视摄像头的实时读取环境 硬件: PC:i7-4970 16GB内存 摄像头型号:DS-2CD3310D-I(2.8mm) 软件: windows-x64、vs2012、opencv2.4.8、hkvision5114-x64版本库 配置 保证使用SADP工具可以识别摄像头...
  • 本文代码都在Windows/VC++6.0下测试过,... 当linux上的代码读取Windows文件格式时, 读取结果的每行都会多一个\r, 想想为什么。 2. 当Windows上的代码读取linux格式文件时, 读取的结果会显示只有一行, 想想为什么。
  • Java读取txt文件和写入txt文件

    万次阅读 多人点赞 2016-05-25 23:16:26
    原文: Java读取txt文件和写入txt文件写Java程序时经常碰到要读如txt或写入txt文件的情况,但是由于要定义好多变量,经常记不住,每次都要查,特此整理一下,简单易用,方便好懂! package edu.thu.keyword.test; ...
  • Python学习笔记(28)-Python读取word文本

    万次阅读 多人点赞 2017-07-17 11:36:17
    一,简介Python可以利用python-docx模块处理word文档,...二,相关概念如果需要读取word文档中的文字(一般来说,程序也只需要认识word文档中的文字信息),需要先了解python-docx模块的几个概念。1,Document对象,
  • C++读取图片

    万次阅读 多人点赞 2018-11-20 00:12:36
    C++读取图片 以C++风格(文件流)而不是C风格(FILE)读取图片。 使用到的头文件主要是fstream 参考链接: http://www.cplusplus.com/reference/istream/istream/read/ 主要用到的函数: ifstream.seekg() ...
  • C#读取文件

    万次阅读 2021-02-15 16:19:34
    using System; using System.IO; namespace FileApplication { class Program { static void Main(string[] args) ... // 创建一个 StreamReader 的实例来读取文件 // using 语句也能关闭 StreamReader
  • Java读取和写入图片

    万次阅读 2018-06-05 21:14:38
    File originalFile = new File("...//指定要读取的图片 try { File result = new File("D:\\test0\\dabai.jpg");//要写入的图片 if (result.exists()) {//校验该文件是否已存在 ...
  • MATLAB读取文件夹下所有文件的文件名并读取数据

    万次阅读 多人点赞 2018-12-08 22:23:56
    MATLAB读取文件夹下特定类型格式文件的文件名并读取该格式文件的数据 利用代码对大量数据进行自动批处理时,首先需要获取该数据存放的文件夹(文件夹路径),然后获取该文件夹下某一类型数据所有的文件名,最后通过...
  • 读取data文件

    万次阅读 2018-05-06 15:31:35
    读取.data文件的时候,只能通过 with open(' ','r') as f: 进行读取,最后再保存为csv文件。该过程中通常是 1、先做a=strip().split('')处理,得到列表,但此时的a[i](i=1,2,...)是str属性, 如‘uid 130’,‘aid...
  • 当用pandas的read_csv函数或者是read_table函数读取文件时,如果遇到大的文件,需要分块读取,在这个基础上可以 读取指定行,比如读取标签全为0的行。 代码如下:   f = open(path + r'\train.csv') reader = ...
  • C#OPC读取数据

    千次下载 热门讨论 2013-05-17 17:23:03
    C#访问OPC读取数据 一般用于自动化编程
  • java使用poi读取doc和docx文件

    万次阅读 多人点赞 2016-07-22 10:53:02
    这几天在学习java io流的东西,有一个网友... 于是在网上搜寻了一阵之后才发现原来doc文档和excel一样不能用普通的io流的方法来读取,而是也需要用poi,于是进行了一番尝试后,终于以正确的编码格式读取了这个doc文件。
  • Java中文本文件的读取(按行读取)

    万次阅读 多人点赞 2018-04-29 18:14:44
    在之前的学习过程中,经常会遇到将文本文件中的数据读取到数组或其他数据结构中。每次遇到,总是在网上搜索代码解决,解决之后并没有总结复习,因此在下一次遇到同样的问题时,又重复之前的过程。这样周而复始,并...
  • Xsens 在ROS环境下读取数据

    万次阅读 2021-01-08 22:07:27
    Xsens IMU数据读取1 Xsens数据读取1.1 安装ROS二进制包1.2 Xsens修改rule文件参考资料 1 Xsens数据读取 1.1 安装ROS二进制包 sudo apt-get install ros-kinetic-xsens-driver sudo chmod 777 /dev/ttyUSB* 启动...
  • python读取Excel表格文件

    万次阅读 多人点赞 2019-07-26 10:55:52
    python读取Excel表格文件,例如获取这个文件的数据 python读取Excel表格文件,需要如下步骤: 1、安装Excel读取数据的库-----xlrd 直接pip install xlrd安装xlrd库 #引入Excel库的xlrd import xlrd 2、...
  • 在数据挖掘的很多领域,数据内容往往以.data形式给出,因此读取data文件到矩阵中并对异常值进行处理就变得很重要了。
  • Python使用pandas读取excel表格数据

    万次阅读 多人点赞 2019-04-08 16:14:04
    导入 import pandas as pd ...读取表格并得到表格行列信息 df=pd.read_excel('test.xlsx') height,width = df.shape print(height,width,type(df)) 表格如下: 得到如下输出,为一个4行5列的数据块: ...
  • Java读取文件

    万次阅读 2019-06-04 16:30:13
    Java读取文件 本文是基于Windows 10系统环境,学习和实现Java读取文件: Windows 10 MyEclipse 10 一、Java读取文件 (1) 代码实现 java代码 public class Demo(){ File file = new File("e:/a.txt"); //读取...
  • Python读取文件内容

    万次阅读 多人点赞 2018-12-18 16:27:54
    Python 读取文件内容
  • 文件读取之硬盘与内存模式

    万次阅读 2020-01-07 23:27:36
    大文件读取 硬盘模式:频繁操作文件 内存模式:一次性将所有内容读取到内存,再快速处理 """ # 硬盘模式 # while True: # find_name = input('please input the search name:') # with open('4.缓冲区.py.txt', 'r', ...
  • matlab对Excel表读取数据

    万次阅读 多人点赞 2019-07-09 23:16:25
    1.用xlsread函数读取一个Excel文件 2.读取指定sheet中的数据 2.读取指定sheet中的数据 1.用xlsread函数读取一个Excel文件 (1)num=xlsread(filename) filename是单引号括起来的带路径的文件名,函数直接读取...
  • C#读取Excel数据的几种方式(包含大量数据读取

    万次阅读 多人点赞 2019-02-21 16:26:42
    C#读取Excel数据的几种方式(包含大量数据读取) C#读取Excel数据的几种方式(包含大量数据读取) OleDB方式 COM组件的方式 NPOI方式读取(此处未测试,参考其他博文) 常用的Excel数据读取方式有三种: Ole...
  • 成功解决pandas读取文件中不读取第一索引列 目录 解决问题 解决思路 解决方法 解决问题 解决pandas读取文件中不读取第一索引列 解决思路 pandas输出时会默认增加一列索引列 解决方法...
  • Java读取文件的方法

    万次阅读 2018-10-21 16:32:11
    读取二进制文件 读取二进制文件,并存入byte数组,如算法训练模型的二进制模型。 public byte[] readFromByteFile(String pathname) throws IOException{ File filename = new File(pathname); ...
  • pandas 读取csv 按行读取

    万次阅读 2019-07-18 11:05:12
    import pandas as pd csvfile = open('text.csv',encoding='utf-8') ...# 按行读取保存到字典里,假设每行有三个字段,item_id,info,title dict_item_id = {} dict_info = {} dict_title = {} di...
  • 【Python-数据读取读取txt文件每一行数据生成列表

    万次阅读 多人点赞 2018-10-10 22:23:57
    好多时候我们要读取txt文件获得数据,并把数据的按行或者按列存放到列表中,从而生成特征和类别标签。今天读了好几个都没有成功,最后发现,数据间的分隔符十分重要,总结一下经验。 数据间的分隔符是空格 读取的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,850,202
精华内容 1,540,080
关键字:

读取