一、在工程目录中新建一个excel文件
二、使用python脚本程序将目标excel文件中的列头写入，本文省略该部分的code展示，可自行网上查询
三、以下code内容为：实现从接口获取到的数据值写入excel的整体步骤
1、整体思路：
(1)、根据每日调取接口的日期来作为excel文件中：列名为“收集日期”的值
(2)、程序默认是每天会定时调取接口并获取接口的返回值并写入excel中(我使用的定时任务是：linux下的contab)
(3)、针对接口异常未正确返回数据时，使用特殊符号如：NA代替并写入excel文件中(后期使用excel数据做分析时有用)
2、完整代码如下：
import requests, xlrd, os, sys, urllib3
from datetime import date, timedelta
from xlutils.copy import copy
basedir = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
sys.path.append(basedir)
from lib.mysqldb import mysqldb
from lib.public_methods import test_login
def collect_data():
"""test_rooms.test_kpi卡片下：adr指标值收集"""
get_all_code_sql = 'select DISTINCT test_code from test_info WHERE open_flag = 1'
test_code_all = mysqldb("test_data").selectsql(get_all_code_sql)
test_code_list = []
adr_insert_data_list = []
yesterday = (date.today() + timedelta(days=-1)).strftime("%Y-%m-%d")
adr_insert_data_list.append(yesterday)
for j in range(len(test_code_all)):
test_code_list.append(test_code_all[j]["test_code"])
for m in range(len(test_code_list)):
url = "https://www.baidu.com/test/api/data/query.json"
header = {
"Content-Type": "application/json;charset=UTF-8",
"Cookie": str(test_login())
}
param = {
"code": "test_rooms.test_kpi",
"page": 1,
"pageSize": 1000,
"params": {
"start_date_year": "2019",
"start_date_month": "9",
"start_date_day": "16",
"end_date_year": "2019",
"currency_type": "usd",
"end_date_day": "16",
"end_date_month": "9",
"tests": "test_001"
}
}
"""替换请求参数中的开始日期"""
param["params"]["start_date_year"] = str(yesterday).split("-")[0]
param["params"]["start_date_month"] = str(yesterday).split("-")[1]
param["params"]["start_date_day"] = str(yesterday).split("-")[2]
"""替换请求参数中的结束日期"""
param["params"]["end_date_year"] = param["params"]["start_date_year"]
param["params"]["end_date_month"] = param["params"]["start_date_month"]
param["params"]["end_date_day"] = param["params"]["start_date_day"]
param["params"]["tests"] = test_code_list[m]
urllib3.disable_warnings()
result = requests.post(url=url, headers=header, json=param, verify=False).json()
if str(result["data"]["data"]) != "None":
"""adr指标值收集"""
indicatorList = result["data"]["data"]["test_indicator_list"]
test_actualorLast_Forecast = result["data"]["data"]["test_actual"]
new_indicator_actualvalue = {}
i = 0
while i < len(indicatorList):
dit = {indicatorList[i]: test_actualorLast_Forecast[i]}
new_indicator_actualvalue.update(dit)
i += 1
if str(new_indicator_actualvalue["adr"]) == "--":
adr_value_result = "NA"
adr_insert_data_list.append(adr_value_result)
else:
adr_value_result = new_indicator_actualvalue["adr"]
adr_insert_data_list.append(adr_value_result)
else:
adr_value_result = "NA"
adr_insert_data_list.append(adr_value_result)
"""adr指标值数据收集入excel路径"""
workbook = xlrd.open_workbook(basedir + "/data/collect_data_center.xls") # 打开工作簿
sheets = workbook.sheet_names() # 获取工作簿中的所有表格
worksheet = workbook.sheet_by_name(sheets[0]) # 获取工作簿中所有表格中的的第一个表格
rows_old = worksheet.nrows # 获取表格中已存在的数据的行数
new_workbook = copy(workbook) # 将xlrd对象拷贝转化为xlwt对象
new_worksheet = new_workbook.get_sheet(0) # 获取转化后工作簿中的第一个表格
for i in range(0, 1):
for j in range(0, len([adr_insert_data_list][i])):
new_worksheet.write(i + rows_old, j, [adr_insert_data_list][i][j]) # 追加写入数据，注意是从i+rows_old行开始写入
new_workbook.save(basedir + "/data/collect_data_center.xls") # 保存工作簿
print("adr指标值---xls格式表格【追加】写入数据成功！")
3、从步骤2中的代码可看出代码整体分为3个部分：
(1)、组装接口参数；
(2)、调用接口将接口返回的结果集收集在list中；
(3)、将收集的结果写入excel中并保存；
tips：windows与linux下excel的路径格式需要区分下，以上代码中的"/data/collect_data_center.xls"为linux环境下路径
总结
以上所述是小编给大家介绍的Python实现大数据收集至excel的思路详解，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

与从事分析工作的人交谈，他们会告诉你他们对Excel的爱恨情仇：
Excel能做很多事情；当涉及到更大的数据集时，这简直是一种痛苦。数据需要很长时间才能加载，在你意识到机器的内存耗尽之前，整个事情就变得无法管理了。更不用说Excel最多只能支持1,048,576行。
如果有一种简单的方法，那就是将数据传输到SQL数据库中进行分析。这就是Python拯救世界的方式。
Python中的SQL
首先，让我们研究一下在Python中使用SQL时最流行的选项:MySQL和SQLite。
MySQL有两个流行的库:PyMySQL和MySQLDb;而SQLite有SQLite3。
SQLite就是所谓的嵌入式数据库，这意味着它在我们的应用程序中运行，因此不需要先在某个地方安装它(不像MySQL)。
这是一个重要的区别;在我们寻求快速数据分析的过程中起着关键作用。因此，我们将继续学习如何使用SQLite。
在Python中设置SQLite
我们需要做的第一件事是导入库：
import sqlite3
然后，我们需要确定是否要在任何地方保存这个数据库，还是在应用程序运行时将它保存在内存中。
如果决定通过导入任何数据来实际保存数据库，那么我们必须给数据库一个名称，例如' FinanceExplainedDb '，并使用以下命令：
dbname='FinanceExplainedDb'
conn=sqlite3.connect(dbname + '.sqlite')
另一方面，如果我们想把整个东西保存在内存中，并在完成后让它消失，我们可以使用以下命令：
conn=sqlite3.connect(':memory:')
至此，SQLite已经全部设置好，可以在Python中使用了。假设我们在Table 1中加载了一些数据，我们可以用以下方式执行SQL命令：
cur=conn.cursor()
cur.execute('SELECT * FROM Table1')
for row in cur:
print(row)
现在让我们探索如何通过使用pandas的应用程序使数据可用。
使用pandas加载数据
假设我们已经有了数据，我们想要进行分析，我们可以使用Pandas库来做这件事。
首先，我们需要导入pandas库，然后我们可以加载数据：
import pandas as pd
#if we have a csv file
df=pd.read_csv('ourfile.csv')
#if we have an excel file
df=pd.read_excel('ourfile.xlsx')
一旦我们加载数据，我们可以把它直接放入我们的SQL数据库与一个简单的命令：
df.to_sql(name='Table1',con=conn)
如果在同一个表中加载多个文件，可以使用if_exists参数：
df.to_sql(name='Table1',con=conn,if_exists='append')
在处理较大的数据集时，我们将无法使用这个单行命令来加载数据。我们的应用程序将耗尽内存。相反，我们必须一点一点地加载数据。在这个例子中，我们假设每次加载10,000行：
chunksize=10000
for chunk in pd.read_csv('ourfile.csv', chunksizechunksize=chunksize):
chunk.to_sql(name='Table1',con=conn,if_exists='append')
把所有的东西放在一起
为了将所有内容综合起来，我们提供一个Python脚本，它涵盖了我们讨论的大部分内容。
import sqlite3, pandas as pd, numpy as np
#####Creating test data for us -- you can ignore
from sklearn import datasets
iris=datasets.load_iris()
df1=pd.DataFrame(data=np.c_[iris['data'], iris['target']],columns=iris['feature_names'] + ['target'])
df1.to_csv('TestData.csv',index=False)
###########################
conn=sqlite3.connect(':memory:')
cur=conn.cursor()
chunksize=10
for chunk in pd.read_csv('TestData.csv', chunksizechunksize=chunksize):
chunkchunk.columns= chunk.columns.str.replace(' ', '_') #replacing spaces with underscores for column names
chunk.to_sql(name='Table1',con=conn,if_exists='append')
cur.execute('SELECT * FROM Table1')
names=list(map(lambda x: x[0], cur.description)) #Returns the column names
print(names)
for row in cur:
print(row)
cur.close()
【责任编辑：赵宁宁 TEL：（010）68476606】
点赞 0

安装 & 加载pip3 install xlrd -i https://mirrors.aliyun.com/pypi/simple/
import xlrd
打开 Excel 文件path = 'data/在线表格2.0.xlsx'
data = xlrd.open_workbook(path)
获取 sheet 名称# 返回所有的 sheet 名称
names = data.sheet_names() # 返回类型为是一个列表
得到表格对象# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0)
行操作
得到有效行# 获取该表格中的有效行数
nrows = table.nrows
得到行对象# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0)
# 获取该把表格中的有效行数
rows = table.nrows
# 使用有效行去遍历 得到行对象
for r in range(rows):
v = table.row(r)
print(v)
获得具体数据这是通过行对象获取数据
# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0)
# 获取该把表格中的有效行数
rows = table.nrows
# 使用有效行去遍历 得到行对象
for r in range(rows):
o,t,s = table.row(r)[0].value,table.row(r)[1].value,table.row(r)[2].value
print(o,t,s)
直接获取一行的数据，然后组成 list
# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0) #通过索引顺序获取
# 获取该把表格中的有效行数
rows = table.nrows
# 使用有效行去遍历 得到行对象
for r in range(rows):
o= table.row_values(r)
print(o)
列操作
获取有效列# 获取该表格中的有效行数
cols = table.ncols
print(cols)
得到列对象# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0) #通过索引顺序获取
# 获取该把表格中的有效列数
cols = table.ncols
# 使用有效行去遍历 得到列对象
for c in range(cols):
t = table.col(c, start_rowx=0, end_rowx=None)
print(t)
获得具体数据这是通过列对象获取数据
# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0) #通过索引顺序获取
# 获取该把表格中的有效列数
cols = table.ncols
# 使用有效行去遍历 得到列对象
for c in range(cols):
t = table.col(c)[0].value
print(t)
直接获取一行的数据，然后组成 list
# 通过索引获取 操作的表格对象
table = data.sheet_by_index(0) #通过索引顺序获取
# 获取该把表格中的有效列数
cols = table.ncols
# 使用有效行去遍历 得到列对象
for c in range(cols):
t = table.col_values(c)
print(t)
常用函数合计path = 'test.xlsx'
# 读取文件
data = xlrd.open_workbook(path)
data.sheet_names() # 返回所有的 sheet 名称的 list
table = data.sheet_by_index(0) # 通过索引获取 操作的表格对象
table = data.sheet_by_name(sheet_name)#通过名称获取 操作的表格对象
行操作nrows = table.nrows  # 获取该sheet中的有效行数
table.row(rowx)  # 返回由该行中 所有的单元格对象 组成的列表
table.row_types(rowx, [start_colx=0],[ end_colx=None])    # 返回由该行中所有单元格的数据类型组成的列表
table.row_values(rowx, [start_colx=0],[ end_colx=None])   # 返回由该行中 所有单元格的数据 组成的列表
table.row_len(rowx) # 返回 该列的 有效单元格长度
列操作ncols = table.ncols   # 获取列表的 有效列数
table.col(colx, [start_rowx=0],[ end_rowx=None])  # 返回由该列中 所有的单元格对象 组成的列表
table.col_types(colx, [start_rowx=0],[ end_rowx=None])    #返回由该列中 所有单元格的数据类型 组成的列表
table.col_values(colx, [start_rowx=0], [end_rowx=None])   #返回由该列中 所有单元格的数据 组成的列表

python处理excel大数据的读和写
python在excel文件处理的过程中担任什么角色
怎么去理解python语言
我用python写好的两个简单的工具对象（不用掌握代码细节，学会使用这两个工具就好）
读工具的使用
写工具的使用
总结

python在excel文件处理的过程中担任什么角色
没有接触过编程的同学多多少少会对程序代码有点畏惧感，既然excel表格那么好用，鼠标点点，键盘敲敲就可以啦，那为什么还要用python对它进行操作呢。
随着大数据时代的来临，除了办公会用到excel表格外，涉及到大数据工程的项目上需要对大量数据进行处理，这就难免会涉及到很多数据的重复性工作。python能够很便捷地对表格进行大量数据的处理，将重复性工作代码化，运行一段代码就可以避免很多重复性工作。
怎么去理解python语言
python是一种面向对象的语言。
电视机遥控器就是一个对象（可以把对象理解为一个实实在在的东西），遥控器上面的按钮就对应着不同的功能，比如换台，关电视等等，这里被操作的是电视。
同样，用python可以写出很多工具对象，这个工具对象有很多功能，在这里被操作的是表格。
我们可以利用python可以写出很多的工具对象，不同的工具控制着不同的东西，这里我们主要讲控制表格的工具。
我用python写好的两个简单的工具对象（不用掌握代码细节，学会使用这两个工具就好）
下面是我写好的两个工具对象（不用看完整代码，记住class后面的名字以及def后面的名字就好）

这段代码制作了两个工具（出现了两个class，一个class就对应一个工具对象），一个是用来读Excel数据的，一个是用来把数据写入Excel的。每次操作表格之前，拷贝到编译器即可.
class后面的名称**ExcelData()和softwareOfwriteToExcel()**是我们在用这个工具一定会用到的，需要用哪个工具就调用哪个。
读工具的使用

对表格进行操作之前需要把读和写的工具总体代码拷贝到编译器内（照样子拷贝就行，不要看完整代码，记住上面的图片内的工具名称以及功能名称即可）。

from xlrd import xldate_as_tuple
import xlrd
import xlwt
import datetime




'''***************************'''
class ExcelData():    #提取有效行数和列数，提取整行数据
    # 初始化方法
    def __init__(self, data_path, sheetname):
        #定义一个属性接收文件路径
        self.data_path = data_path
        # 定义一个属性接收工作表名称
        self.sheetname = sheetname
        # 使用xlrd模块打开excel表读取数据
        self.data = xlrd.open_workbook(self.data_path)
        # 根据工作表的名称获取工作表中的内容（方式①）
        self.table = self.data.sheet_by_name(self.sheetname)
        # 根据工作表的索引获取工作表的内容（方式②）
        #self.table = self.data.sheet_by_name(0)
        # 获取第一行所有内容,如果括号中1就是第二行，这点跟列表索引类似
        self.keys = self.table.row_values(0)
        # 获取工作表的有效行数
        self.rowNum = self.table.nrows
        # 获取工作表的有效列数
        self.colNum = self.table.ncols

    # 定义一个读取excel表的方法
    def readExcel(self):
        # 定义一个空列表
        datas = []
        for i in range(1, self.rowNum):
            # 定义一个空字典
            sheet_data = {}
            for j in range(self.colNum):
                # 获取单元格数据类型
                c_type = self.table.cell(i,j).ctype
                # 获取单元格数据
                c_cell = self.table.cell_value(i, j)
                if c_type == 2 and c_cell % 1 == 0:  # 如果是整形
                    c_cell = int(c_cell)
                elif c_type == 3:
                    # 转成datetime对象
                    date = datetime.datetime(*xldate_as_tuple(c_cell,0))
                    c_cell = date.strftime('%Y/%d/%m %H:%M:%S')
                elif c_type == 4:
                    c_cell = True if c_cell == 1 else False
                sheet_data[self.keys[j]] = c_cell
                # 循环每一个有效的单元格，将字段与值对应存储到字典中
                # 字典的key就是excel表中每列第一行的字段
                # sheet_data[self.keys[j]] = self.table.row_values(i)[j]
            # 再将字典追加到列表中
            datas.append(sheet_data)
        # 返回从excel中获取到的数据：以列表存字典的形式返回
        return datas
    #定义一个获取行内容的方法，输入行数
    def getRow(self,num):
        rowContent = self.table.row_values(num-1)
        return rowContent
    #定义一个获取列内容的方法，输入列数
    def getCol(self,num):
        colContent = self.table.col_values(num-1)
        return colContent


'''************************************************'''
class softwareOfwriteToExcel():
    def __init__(self,name_of_excel,name_of_sheet):
        self.name_of_excel = name_of_excel
        self.name_of_sheet = name_of_sheet
        self.w = xlwt.Workbook()  # 创建一个工作簿
        self.ws = self.w.add_sheet(self.name_of_sheet)  # 创建一个工作表
    def writeToExcel(self,row,col,content):
        self.ws.write(row-1,col-1,content)
        self.w.save(self.name_of_excel)
    def writeToROW(self,rowNum,list):
        num = 1
        for i in list:
            self.ws.write(rowNum-1,num-1,i)
            num += 1
            self.w.save(self.name_of_excel)
    def writeToCol(self,colNum,list):
        num = 1
        for i in list:
            self.ws.write(num-1,colNum-1,i)
            num += 1
            self.w.save(self.name_of_excel)


现在，我们已经获取了两个工具，接下来取一个工具对象并取名字为read_tool

#不用刻意理解，每次都这么写
read_tool = ExcelData('/Users/jerry/Desktop/example.xlsx','Sheet3')

这里我们往读工具内传入了两个参数，一个是/Users/jerry/Desktop/example.xlsx，这个是被操作表格的绝对路径，另外一个是表格内被操作表单的名称，运行这一行代码我们就获取到了表格内的数据，并存放在了read_tool里，接下来要读表格内的数据其实就是对read_tool进行操作。

3 . 获取下面表格的第1行数据并打印出来



遥控器使用功能的方法是按键，python工具对象使用功能的方法是** .+功能名字 **，由以上简图可知，获取行内容的功能名称为getRow,所以调用的方法就是read_tool.getRow(1)，1为行号
print(read_tool.getRow(1))

运行结果为



4. 以此类推，获取第1列的数据，调用的方法为read_tool.getCol(1),若要打印结果则使用
print(read_tool.getCol(1))

运行结果为


写工具的使用

和读工具的使用一样，先导入两个工具

from xlrd import xldate_as_tuple
import xlrd
import xlwt
import datetime




'''***************************'''
class ExcelData():    #提取有效行数和列数，提取整行数据
    # 初始化方法
    def __init__(self, data_path, sheetname):
        #定义一个属性接收文件路径
        self.data_path = data_path
        # 定义一个属性接收工作表名称
        self.sheetname = sheetname
        # 使用xlrd模块打开excel表读取数据
        self.data = xlrd.open_workbook(self.data_path)
        # 根据工作表的名称获取工作表中的内容（方式①）
        self.table = self.data.sheet_by_name(self.sheetname)
        # 根据工作表的索引获取工作表的内容（方式②）
        #self.table = self.data.sheet_by_name(0)
        # 获取第一行所有内容,如果括号中1就是第二行，这点跟列表索引类似
        self.keys = self.table.row_values(0)
        # 获取工作表的有效行数
        self.rowNum = self.table.nrows
        # 获取工作表的有效列数
        self.colNum = self.table.ncols

    # 定义一个读取excel表的方法
    def readExcel(self):
        # 定义一个空列表
        datas = []
        for i in range(1, self.rowNum):
            # 定义一个空字典
            sheet_data = {}
            for j in range(self.colNum):
                # 获取单元格数据类型
                c_type = self.table.cell(i,j).ctype
                # 获取单元格数据
                c_cell = self.table.cell_value(i, j)
                if c_type == 2 and c_cell % 1 == 0:  # 如果是整形
                    c_cell = int(c_cell)
                elif c_type == 3:
                    # 转成datetime对象
                    date = datetime.datetime(*xldate_as_tuple(c_cell,0))
                    c_cell = date.strftime('%Y/%d/%m %H:%M:%S')
                elif c_type == 4:
                    c_cell = True if c_cell == 1 else False
                sheet_data[self.keys[j]] = c_cell
                # 循环每一个有效的单元格，将字段与值对应存储到字典中
                # 字典的key就是excel表中每列第一行的字段
                # sheet_data[self.keys[j]] = self.table.row_values(i)[j]
            # 再将字典追加到列表中
            datas.append(sheet_data)
        # 返回从excel中获取到的数据：以列表存字典的形式返回
        return datas
    #定义一个获取行内容的方法，输入行数
    def getRow(self,num):
        rowContent = self.table.row_values(num-1)
        return rowContent
    #定义一个获取列内容的方法，输入列数
    def getCol(self,num):
        colContent = self.table.col_values(num-1)
        return colContent


'''************************************************'''
class softwareOfwriteToExcel():
    def __init__(self,name_of_excel,name_of_sheet):
        self.name_of_excel = name_of_excel
        self.name_of_sheet = name_of_sheet
        self.w = xlwt.Workbook()  # 创建一个工作簿
        self.ws = self.w.add_sheet(self.name_of_sheet)  # 创建一个工作表
    def writeToExcel(self,row,col,content):
        self.ws.write(row-1,col-1,content)
        self.w.save(self.name_of_excel)
    def writeToROW(self,rowNum,list):
        num = 1
        for i in list:
            self.ws.write(rowNum-1,num-1,i)
            num += 1
            self.w.save(self.name_of_excel)
    def writeToCol(self,colNum,list):
        num = 1
        for i in list:
            self.ws.write(num-1,colNum-1,i)
            num += 1
            self.w.save(self.name_of_excel)


取一个写工具并取名为write_tool

write_tool = softwareOfwriteToExcel('demo.xls','mysheet')

这句代码就制作好了一个空表格demo.xls,并打开了一个新表单mysheet，对这个新表格操作就是对write_tool进行操作

根据上面的简图和读操作，写工具下有三个主用功能

往一个单元格写数据writeToExcel（）
往规定行写数据writeToROW（）
往规定列写数据writeToCol（）


往表格第一行第二列写一个字母haha

softwareOfwriteToExcel.writeToExcel(1,2,'haha')
#第一个参数填入行数，第二个参数填入列数，最后一个参数填入要写入单元格的内容

运行结果：



工程文件夹内生成一个名为demo.xls的文件，打开表格可以看到第一样第二列出现了haha字符串



第8行写入列表[1,2,3,4,5,6,“djd”]

list = [1,2,3,4,5,6,"djd"]
#第一个参数为行数，第二个参数为需要写入的内容
softwareOfwriteToExcel.writeToRow(8,list)

运行结果：



5. 第9列写入列表[1,2,3,4,5,6,“djd”,“djdj”,“djdjdj”]
list = [1,2,3,4,5,6,"djd","djdj","djdjdj"]
#第一个参数填入列数，第二个参数写入内容列表
softwareOfwriteToExcel.writeToCol(9,list)

运行结果：


总结
以上代码模块将常用的读和写的功能都涵盖进来了，工具的具体代码不用看更不用记。需要对表格操作时：

将工具拷贝到编译器
给工具取一个名字，就像read_tool和write_tool,然后所有的操作都围绕着两个对象进行操作
使用某个功能就(.+功能名称),然后按照要求写入参数就好，如用到读工具的读第1行：

read_tool.getRow(1)

写工具依此类推