使用python的Pandas工具包读取数据
直接使用pd.read_csv()读取少量数据
import pandas as pd
data_path = '../DataWarehouse/TestData/test01.csv'

文件包含标题行
df = pd.read_csv(data_path, sep='\t', encoding='utf-8')

文件不包含标题行
header_name = ['col1', 'col2', 'col3', 'col4', 'col5']  # 指定标题行各个字段名称
df = pd.read_csv(data_path, sep='\t', encoding='utf-8', header=None, names=header_name)

读取文件指定列
# usecols 可指定是第几列,也可直接指定列名称
df = pd.read_csv(data_path, sep='\t', encoding='utf-8', usecols=[0,1,2])  # usecols指定第几列
df = pd.read_csv(data_path, sep='\t', encoding='utf-8', usecols=['col1', 'col3', 'col4'])  # usecols指定列名

指定特殊分隔符
# 如果文件的分隔符是特殊字符,如退格符等特殊符号,sep接受16进制字符
# '\x'的意思是16进制, 需用'\\x'对其中的'\'进行转义
# 7f和5e是16进制字符,分别代表退格符和'^'
df = pd.read_csv(data_path, sep='\\x7f\\x5e', encoding='utf-8')

读取大量数据(分批次读取)
读取单个大文件
# 使用pandas读取数据时,如果文件比较大,则可以使用参数chunksize对其进行分批次读取
# chunksize 是设置一次读取多少条记录,返回一个可迭代对象

df_chunk = pd.read_csv(data_path, sep='\t', encoding='utf-8', chunksize=1000000)

def get_chunk_data(df_chunk):
    chunks = []
    for chunk in df_chunk:
        # 每个chunk都是一个分批次读取出来的DataFrame
        chunks.append(chunk)
    # 使用panndas的concat函数,将分批次读取的DataFrame拼接起来
    # axis指定沿着哪个轴进行拼接: 0是按行拼接,1是按列拼接
    df_all = pd.concat(chunks, axis=0)
    # 删除chunks,释放内存
    del chunks
    return df_all

df_all = get_chunk_data(df_chunk) 

读取多个大文件
import os

def get_chunk_data(df_chunk):
    chunks = []
    for chunk in df_chunk:
        chunks.append(chunk)
    df_all = pd.concat(chunks, axis=0)
    del chunks
    return df_all

def concat_files(source_path):
    """
    Paramters
    ---------
    source_path: 需要读取的大文件所在文件夹路径
    
    Returns
    -------
    df_concat: 最终所有文件合并后的DataFrame
    """
    file_list = []
    for root, dirs, files in os.walk(source_path):
        for file in files:
            src_file = os.path.join(root, file)
            file_list.append(src_file)
    temp_df = []
    for file in file_list:
        df_chunk = pd.read_csv(file, sep='\t', encoding='utf-8', chunksize=1000000)
        df_chunk_concat = get_chunk_data(df_chunk)
        temp_df.append(df_chunk_concat)
    df_concat = pd.concat(temp_df, axis=0)
    del temp_df
    return df_concat

可以使用pandas来方便的读取csv文件，免去自己处理csv时的琐屑问题。

安装



sudo pip install pandas

或者直接使用pycharm的Setting->Interpreter->Tool直接安装

读取csv文件

假设我们有如下的数据格式的tests.csv：

ID
  
Name
  
Sex
  
Age
1
  
amy
  
male
  
12
2
  
ken
  
female
  
13
3
  
Andrew
  
male
  
23
4
  
Jummy
  
female
  
30
读取：df =pd.read_csv("D:\\data\\titanic\\tests.csv",encoding='utf8') ,其中encoding用于指定csv的编码格式，如果有中文，则可以使用gbk等 

读取某一列：printf(df['ID'])大小写敏感 

输出：

0    1
1    2
2    3
3    4

第一列是表示方便 

读取某个行：printf(df.ix[1]) 

输出：

ID           2
Name       ken
Sex     female
Age         13
Name: 1, dtype: object

本文为作者原创，未经允许不得擅自转载。

Excel是微软的经典之作，在日常工作中的数据整理、分析和可视化方面，有其独到的优势，尤其在你熟练应用了函数和数据透视等高级功能之后，Excel可以大幅度提高你的工作效率。但如果数据量超大，Excel的劣势也就随之而来，甚至因为内存溢出无法打开文件，后续的分析更是难上加难。那么，有什么更好的解决办法吗？工欲善其事，必先利其器，在这里我们介绍使用Python的pandas数据分析包来解决此问题。

pd.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, 
              usecols=None, squeeze=False,dtype=None, engine=None, 
              converters=None, true_values=None, false_values=None, 
              skiprows=None, nrows=None, na_values=None, parse_dates=False, 
              date_parser=None, thousands=None, comment=None, skipfooter=0, 
              convert_float=True, **kwds)


pandas读取Excel后返回DataFrame，接下来我们就pd.read_excel()的常用参数进行详细解析。

目录

1、io，Excel的存储路径

2、sheet_name，要读取的工作表名称

3、header， 用哪一行作列名

4、names， 自定义最终的列名

5、index_col， 用作索引的列

6、usecols，需要读取哪些列

7、squeeze，当数据仅包含一列

8、converters ，强制规定列数据类型

9、skiprows，跳过特定行

10、nrows ，需要读取的行数

11、skipfooter ， 跳过末尾n行

【文中使用英超、西甲的排名积分榜及射手榜作为原始数据~~~】

1、io，Excel的存储路径

 建议使用英文路径以及英文命名方式。
import pandas as pd
io = r'C:\Users\Administrator\Desktop\data.xlsx'

2、sheet_name，要读取的工作表名称

可以是整型数字、列表名或SheetN，也可以是上述三种组成的列表。
	

	
整型数字：目标sheet所在的位置，以0为起始，比如sheet_name = 1代表第2个工作表。
	
data = pd.read_excel(io, sheet_name = 1)
data.head()



列表名：目标sheet的名称，中英文皆可。
data = pd.read_excel(io, sheet_name = '英超射手榜')
data.head()



SheetN：代表第N个sheet，S要大写，注意与整型数字的区别。
data = pd.read_excel(io, sheet_name = 'Sheet5')
data.head()



组合列表： sheet_name = [0, '英超射手榜', 'Sheet4']，代表读取三个工作表，分别为第1个工作表、名为“英超射手榜”的工作表和第4个工作表。显然，Sheet4未经重命名。
	
sheet_name 默认为0，取Excel第一个工作表。如果读取多个工作表，则显示表格的字典。对于初学者而言，建议每次读取一个工作表，然后进行二次整合。
data = pd.read_excel(io, sheet_name = ['英超积分榜', '西甲积分榜'], nrows = 5)
# sheet_name = ['英超积分榜', '西甲积分榜'] ，返回两个工作表组成的字典
data



3、header， 用哪一行作列名

 默认为0 ，如果设置为[0,1]，则表示将前两行作为多重索引。
data = pd.read_excel(io, sheet_name = '英超积分榜', header = [0,1]) 
# 前两行作为列名。
data.head()



4、names， 自定义最终的列名

一般适用于Excel缺少列名，或者需要重新定义列名的情况。
	
注意：names的长度必须和Excel列长度一致，否则会报错。
data = pd.read_excel(io, sheet_name = '英超射手榜', 
                     names = ['rank','player','club','goal','common_goal','penalty'])
data.head()



5、index_col， 用作索引的列

可以是工作表列名称，如index_col = '排名'；
	
可以是整型或整型列表，如index_col = 0 或 [0, 1]，如果选择多个列，则返回多重索引。
data = pd.read_excel(io, sheet_name = '英超射手榜', index_col = '排名')
data.head()

 

data = pd.read_excel(io, sheet_name = '英超射手榜', index_col = [0, 1])
data.head()



6、usecols，需要读取哪些列

可以使用整型，从0开始，如[0,2,3]；
	
可以使用Excel传统的列名“A”、“B”等字母，如“A：C, E” ="A, B, C, E"，注意两边都包括。
	
usecols 可避免读取全量数据，而是以分析需求为导向选择特定数据，可以大幅提高效率。
data = pd.read_excel(io, sheet_name = '西甲射手榜', usecols = [0, 1, 3])
data.head()



data = pd.read_excel(io, sheet_name = '西甲射手榜', usecols = 'A:C, E')
data.head()
# 啊？什么！！为啥不见C罗？？
# 大佬，C罗转会去尤文图斯啦~~~~

 

7、squeeze，当数据仅包含一列

 squeeze为True时，返回Series，反之返回DataFrame。
data = pd.read_excel(io, sheet_name = 'squeeze', squeeze  = True)
data.head()



data = pd.read_excel(io, sheet_name = 'squeeze', squeeze  = False)
data.head()



8、converters ，强制规定列数据类型


	
converters = {'排名': str, '场次': int}， 将“排名”列数据类型强制规定为字符串（pandas默认将文本类的数据读取为整型），“场次”列强制规定为整型；
	
	

	
主要用途：保留以文本形式存储的数字。
	
data = pd.read_excel(io, sheet_name = 'converters')
data['排名'].dtype



data = pd.read_excel(io, sheet_name = 'converters', converters = {'排名': str, '场次': float})
data['排名'].dtype





9、skiprows，跳过特定行

 skiprows= n， 跳过前n行； skiprows = [a, b, c]，跳过第a+1,b+1,c+1行（索引从0开始）；
	
使用skiprows 后，有可能首行（即列名）也会被跳过。
data = pd.read_excel(io, sheet_name = '英超射手榜', skiprows = [1,2,3]) 
# 跳过第2,3,4行数据（索引从0开始，包括列名）
data.head()

 

data = pd.read_excel(io, sheet_name = '英超射手榜', skiprows = 3)
data.head()



10、nrows ，需要读取的行数

如果只想了解Excel的列名及概况，不必读取全量数据，nrows会十分有用。 
data = pd.read_excel(io, sheet_name = '英超射手榜', nrows = 10)
data



11、skipfooter ， 跳过末尾n行

data = pd.read_excel(r'C:\Users\Administrator\Desktop\data.xlsx' , 
                     sheet_name = '英超射手榜', skipfooter = 43)
#  skipfooter = 43， 跳过末尾43行（索引从0开始）
data



欢迎搜索今日头条“海阔天空爱阅读”，欣赏更多文章~~

您可以使用带有列顺序的参数usecols：
import pandas as pd
from pandas.compat import StringIO
temp=u"""TIME             XGSM
2004 006 01 00 01 37 600  1
2004 006 01 00 02 32 800  5
2004 006 01 00 03 28 000  8
2004 006 01 00 04 23 200  11
2004 006 01 00 05 18 400  17"""
#after testing replace StringIO(temp) to filename
df = pd.read_csv(StringIO(temp),
sep="\s+",
skiprows=1,
usecols=[0,7],
names=['TIME','XGSM'])
print (df)
TIME  XGSM
0  2004     1
1  2004     5
2  2004     8
3  2004    11
4  2004    17
编辑：
您可以使用分隔符regex  -  2个或更多空格，然后添加engine='python'，因为警告：
ParserWarning：回归＆＃39; python＆＃39;引擎，因为＆＃39; c＆＃39;引擎不支持正则表达式分隔符（分隔符＆gt; 1个字符，不同于＆＃39; \ s +＆＃39;被解释为正则表达式）;您可以通过指定engine =＆＃39; python＆＃39;。来避免此警告
import pandas as pd
from pandas.compat import StringIO
temp=u"""TIME              XGSM
2004 006 01 00 01 37 600   1
2004 006 01 00 02 32 800   5
2004 006 01 00 03 28 000   8
2004 006 01 00 04 23 200   11
2004 006 01 00 05 18 400   17"""
#after testing replace StringIO(temp) to filename
df = pd.read_csv(StringIO(temp), sep=r'\s{2,}', engine='python')
print (df)
TIME  XGSM
0  2004 006 01 00 01 37 600     1
1  2004 006 01 00 02 32 800     5
2  2004 006 01 00 03 28 000     8
3  2004 006 01 00 04 23 200    11
4  2004 006 01 00 05 18 400    17