相信很多人的日常工作中，数据源除了来自数据库以外，其次就是外部文件，因此掌握读取文件的技能是相当必要的。在这里特此整理读取外部文件的方法，希望能有助你们快速解决问题。当然本文对读者的假设是有一定的python基础知识。

此篇就以pandas模块【读取CSV 】 为例，我会贴上我的代码截图

【读取CSV 】

1.读取单个CSV文件

以下例子中，设置工作目录（这一步可用也可不用）只是为了方便，在批量读取文件的时候你更能体会它的好用；sep用来指定字符的分隔符号，常用的有空格 【''】，逗号【','】，【' '】

当然我最喜欢的是sep = None, 选择这个之后，python会自动检测分隔符号，当你读取文件报错时，不妨改为 sep = None 试试。另外还有一个常用参数是header，指定数据是否包含指标名称的，默认为0，表示第0行是header；如果设置header = None,则下图中的日期，来访人数，购买人数也会被认为是数据。更多read_csv的参数见：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

设置工作目录效果

不设置工作目录效果

2.批量读取csv文件

工作中可能会遇到一个文件夹有很多csv文件，或许里面还有很多excel文件，且命名还不太一样，如果手动输入文件名，会累摊且也不是我们数据分析的方法。

如下图2.1，我们先批量获取csv的文件名，然后再循环读取csv文件，相信细心的你已经发现指标名称乱码了，这时候我们就需要动用read_csv的encoding参数啦，使用方法见图2.2。

其中有2个函数，os.path.splitext是将文件名分隔开；如abc.csv则分为'abc' 和'.csv'2部分，他们的切片位置是[0,1]那os.path.splitext[1]就表示'.csv'。另外os.walk()要想了解更多更细，就需要你们自行百度模索，这里就不作细说了。

图2.1

图2.2

由于时间关系，这周先码这么多，下周再续

这个使用读取excel的方法一样的。

excel的内容需要有规律，python才能按顺序读取出来。 比如按行按列读取。

一、安装xlrd模块

到python官网下载http://pypi.python.org/pypi/xlrd模块安装，前提是已经安装了python 环境。

二、使用介绍

1、导入模块

import xlrd

2、打开Excel文件读取数据

data = xlrd.open_workbook('excelFile.xls')

3、使用技巧

获取一个工作表

table = data.sheets()[0] #通过索引顺序获取

table = data.sheet_by_index(0) #通过索引顺序获取

table = data.sheet_by_name(u'Sheet1')#通过名称获取

获取整行和整列的值（数组）

table.row_values(i)

table.col_values(i)

获取行数和列数

nrows = table.nrows

ncols = table.ncols

循环行列表数据

for i in range(nrows ):

print table.row_values(i)

单元格

cell_A1 = table.cell(0,0).value

cell_C4 = table.cell(2,3).value

使用行列索引

cell_A1 = table.row(0)[0].value

cell_A2 = table.col(1)[0].value

简单的写入

row = 0

col = 0

# 类型 0 empty,1 string, 2 number, 3 date, 4 boolean, 5 error

ctype = 1 value = '单元格的值'

xf = 0 # 扩展的格式化

table.put_cell(row, col, ctype, value, xf)

table.cell(0,0) #单元格的值'

table.cell(0,0).value #单元格的值'

原文地址

行之间无空行十分重要，如果有空行或者数据集中行末有空格，读取数据时一般会出错，引发[list index out of range]错误。PS：已经被这个错误坑过很多次！

使用python I/O写入和读取CSV文件

使用PythonI/O写入csv文件

以下是将"birthweight.dat"低出生体重的dat文件从作者源处下载下来，并且将其处理后保存到csv文件中的代码。

import csv

import os

import numpy as np

import random

import requests

# name of data file

# 数据集名称

birth_weight_file = 'birth_weight.csv'

# download data and create data file if file does not exist in current directory

# 如果当前文件夹下没有birth_weight.csv数据集则下载dat文件并生成csv文件

if not os.path.exists(birth_weight_file):

birthdata_url = 'https://github.com/nfmcclure/tensorflow_cookbook/raw/master/01_Introduction/07_Working_with_Data_Sources/birthweight_data/birthweight.dat'

birth_file = requests.get(birthdata_url)

birth_data = birth_file.text.split(' ')

# split分割函数,以一行作为分割函数，windows中换行符号为' ',每一行后面都有一个' '符号。

birth_header = birth_data[0].split(' ')

# 每一列的标题，标在第一行，即是birth_data的第一个数据。并使用制表符作为划分。

birth_data = [[float(x) for x in y.split(' ') if len(x) >= 1] for y in birth_data[1:] if len(y) >= 1]

print(np.array(birth_data).shape)

# (189, 9)

# 此为list数据形式不是numpy数组不能使用np,shape函数,但是我们可以使用np.array函数将list对象转化为numpy数组后使用shape属性进行查看。

with open(birth_weight_file, "w", newline='') as f:

# with open(birth_weight_file, "w") as f:

writer = csv.writer(f)

writer.writerows([birth_header])

writer.writerows(birth_data)

f.close()

常见错误list index out of range

其中我们重点需要讲的是 with open(birth_weight_file, "w", newline='') as f: 这个语句。表示写入csv文件,如果不加上参数 newline='' 表示以空格作为换行符，而是用 with open(birth_weight_file, "w") as f: 语句。则生成的表格中会出现空行。

不仅仅是用python I/O进行csv数据的读写时，利用其余方法读写csv数据，或者从网上下载好csv数据集后都需要查看其每行后有没有空格，或者有没有多余的空行。避免不必要的错误~影响数据分析时的判断。

使用PythonI/O读取csv文件

使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中，如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。

birth_data = []

with open(birth_weight_file) as csvfile:

csv_reader = csv.reader(csvfile) # 使用csv.reader读取csvfile中的文件

birth_header = next(csv_reader) # 读取第一行每一列的标题

for row in csv_reader: # 将csv 文件中的数据保存到birth_data中

birth_data.append(row)

birth_data = [[float(x) for x in row] for row in birth_data] # 将数据从string形式转换为float形式

birth_data = np.array(birth_data) # 将list数组转化成array数组便于查看数据结构

birth_header = np.array(birth_header)

print(birth_data.shape) # 利用.shape查看结构。

print(birth_header.shape)

#

# (189, 9)

# (9,)

使用Pandas读取CSV文件

import pandas as pd

csv_data = pd.read_csv('birth_weight.csv') # 读取训练数据

print(csv_data.shape) # (189, 9)

N = 5

csv_batch_data = csv_data.tail(N) # 取后5条数据

print(csv_batch_data.shape) # (5, 9)

train_batch_data = csv_batch_data[list(range(3, 6))] # 取这20条数据的3到5列值(索引从0开始)

print(train_batch_data)

# RACE SMOKE PTL

# 184 0.0 0.0 0.0

# 185 0.0 0.0 1.0

# 186 0.0 1.0 0.0

# 187 0.0 0.0 0.0

# 188 0.0 0.0 1.0

使用Tensorflow读取CSV文件

本人在平时一般都是使用Tensorflow处理各类数据，所以对于使用Tensorflow读取数据在此不过多的进行解释。下面贴上一段代码，如果有不懂的地方可以看我原来的博客内容。

'''使用Tensorflow读取csv数据'''

filename = 'birth_weight.csv'

file_queue = tf.train.string_input_producer([filename]) # 设置文件名队列，这样做能够批量读取文件夹中的文件

reader = tf.TextLineReader(skip_header_lines=1) # 使用tensorflow文本行阅读器，并且设置忽略第一行

key, value = reader.read(file_queue)

defaults = [[0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.], [0.]] # 设置列属性的数据格式

LOW, AGE, LWT, RACE, SMOKE, PTL, HT, UI, BWT = tf.decode_csv(value, defaults)

# 将读取的数据编码为我们设置的默认格式

vertor_example = tf.stack([AGE, LWT, RACE, SMOKE, PTL, HT, UI]) # 读取得到的中间7列属性为训练特征

vertor_label = tf.stack([BWT]) # 读取得到的BWT值表示训练标签

# 用于给取出的数据添加上batch_size维度，以批处理的方式读出数据。可以设置批处理数据大小，是否重复读取数据，容量大小，队列末尾大小，读取线程等属性。

example_batch, label_batch = tf.train.shuffle_batch([vertor_example, vertor_label], batch_size=10, capacity=100, min_after_dequeue=10)

# 初始化Session

with tf.Session() as sess:

coord = tf.train.Coordinator() # 线程管理器

threads = tf.train.start_queue_runners(coord=coord)

print(sess.run(tf.shape(example_batch))) # [10 7]

print(sess.run(tf.shape(label_batch))) # [10 1]

print(sess.run(example_batch)[3]) # [ 19. 91. 0. 1. 1. 0. 1.]

coord.request_stop()

coord.join(threads)

'''

对于使用所有Tensorflow的I/O操作来说开启和关闭线程管理器都是必要的操作

with tf.Session() as sess:

coord = tf.train.Coordinator() # 线程管理器

threads = tf.train.start_queue_runners(coord=coord)

# Your code here~

coord.request_stop()

coord.join(threads)

'''

还有其他使用python读取文件的各种方法，这里介绍三种，不定期进行补充。