xlrd模块
xlrd是python中一个第三方的用于读取excle表格的模块,很多企业在没有使用计算机管理前大多使用表格来管理数据,所以导入表格还是非常常用的!
安装xlrd
pip install xlrd
excel结构分析
一个excle表格包含多个sheet
一个sheet中包含多行多列
每个单元格具备唯一的行号和列号
常用函数import xlrd
# 读取文件
work_book = xlrd.open_workbook("/Users/jerry/Desktop/公司机密数据.xlsx")
# 选取一个表
# 获取所有所有表格名称
print(work_book.sheet_names())
# 选择第2个  索引从0开始
sheet = work_book.sheet_by_index(1)
# 表格名称
print(sheet.name)
# 行数
print(sheet.nrows)
# 列数
print(sheet.ncols)
#批量读取行数据
# 取出第6行的全部内容包含数据类型
print(sheet.row(6))
# 取出第6行的内容包含数据类型 从第3列开始获取
print(sheet.row_slice(6,start_colx=3))
# 取出第6行的内容包含数据类型 从第3列开始获取
print(sheet.row_slice(6,start_colx=4,end_colx=5))
# 获取该行所有数据类型 一数字表示
# print(sheet.row_types(6))
# print(sheet.row_values(6))
# 单元格的处理
print(sheet.cell(0,0).value) # 取值
print(sheet.cell(0,0).ctype) # 取类型
print(sheet.cell_value(2,0)) # 直接取值
print(sheet.row(0)[0]) # 先取行再取单元格
print(sheet.col(0)) # 第0列所有数据
print(sheet.col(0)) # 先取列再取单元格
print(sheet.cell_type(0,0))
# 单元格位置转换
print(xlrd.cellname(2,1))
print(xlrd.cellnameabs(0,2))
print(xlrd.colname(5))
# 时间类型转换
# print(sheet.cell(6,5).value)
# print(xlrd.xldate_as_datetime(sheet.cell(6,5).value,1))
案例:
读取一个报价单 其第二个sheet包含合并单元格
文件地址:https://share.weiyun.com/5GaLY2mimport xlrd
sheet = xlrd.open_workbook("报价单.xlsx").sheet_by_index(1)
def get_text(row,col):
# 判断该坐标是否是被合并的单元格    合并单元格的数据都在合并区域的第一个位置
for ces in sheet.merged_cells:
if (row >= ces[0] and row < ces[1]) and (col >= ces[2] and col < ces[3]):
return sheet.cell(ces[0],ces[2]).value # 取出合并区域的第一个数据
return sheet.cell(row,col).value #正常取出对应数据
keys = sheet.row_values(1) # 获取所有的列标题
data = []
for row in range(2,sheet.nrows):
dic = {}
for col in range(sheet.ncols):
k = keys[col] #确定key
res = get_text(row,col)
dic[k] = res # 确定值 并存储
data.append(dic)
print(data)
# 序列化为json
import json
json.dump(data,open("test.json","wt"),ensure_ascii=False)
xlwt模块
是python中一个第三方的用于写入excle数据到表格的模块
用代码来编写exlce是非常低效的 所以该模块了解即可。import xlwt
# 创建工作簿
work = xlwt.Workbook()
# 创建一个表
sheet = work.add_sheet("员工信息数据")
#创建一个字体对象
font = xlwt.Font()
font.name = "Times New Roman" # 字体名称
font.bold = True # 加粗
font.italic = True # 斜体
font.underline = True # 下划线
#创建一个样式对象
style = xlwt.XFStyle()
style.font = font
# 写入标题
for k in keys:
sheet.write(0,keys.index(k),k,style)
# 写入数据
for i in infos:
for k in keys:
sheet.write(1 + infos.index(i),keys.index(k),label = i[k])
# 保存至文件
work.save("test.xls")
import xlrd
import pymysql
# 读取文件
work_book = xlrd.open_workbook("/xxx/xxx.xlsx")
# 选取一个表
sheet = work_book.sheet_by_index(0)
# 遍历表格数据
datas = []
for row in range(1,sheet.nrows):
temp_list =[]
for col in range(sheet.ncols):
value = sheet.cell_value(row,col)
temp_list.append(value)
datas.append(temp_list)
# 打开数据库连接
db = pymysql.connect(host='localhost', port=3306,
user='username', passwd='password', db='database_name', charset='utf8')
# 使用cursor()方法获取操作游标
cursor = db.cursor()
# SQL 插入语句
sql = "INSERT INTO SHOP(shop_code, shop_name, month) VALUES (%s,%s,%s)"
try:
# 执行sql语句
cursor.executemany(sql, datas)
# 提交到数据库执行
db.commit()
except :
# 如果发生错误则回滚
db.rollback()
# 关闭游标
cursor.close()
# 关闭数据库连接
db.close()

	

林骥的第 38 篇文章
0. 序言在做数据分析之前，我们首先要明确数据分析的目标，然后应用数据分析的思维，对目标进行细分，再采取相应的行动。我们可以把数据分析细分为以下 8 个步骤：(1)读取(2)清洗(3)操作(4)转换(5)整理(6)分析(7)展现(8)报告在《如何用 Python 读取数据？》这篇文章中，我们学习了从 5 种不同的地方读取数据的方法，接下来，我们将利用其中的一种方法，从  Excel 文件中读取原始数据，然后利用 Python 对它进行清洗。下面我们用一副待清洗的扑克牌作为示例，假设它保存在代码文件相同的目录下，在 Jupyter Lab 环境中运行以下代码：
import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
'待清洗的扑克牌数据集.xlsx'
)

df
返回结果如下：这幅待清洗的扑克牌数据集，有一些异常情况，包括：大小王的花色是缺失的，有两张重复的黑桃♠️ A，还有一张异常的黑桃♠️ 30。1. 如何查找异常？在正式开始清洗数据之前，往往需要先把异常数据找出来，观察异常数据的特征，然后再决定清洗的方法。
# 查找「花色」缺失的行
df[df.花色.isnull()]
# 查找完全重复的行
df[df.duplicated()]
# 查找某一列重复的行
df[df.编号.duplicated()]
# 查找牌面的所有唯一值
df.牌面.unique()
返回结果：array(['大王', '小王', 'A', '30', 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 2, 3], dtype=object)根据常识可以判断，牌面为 30 的是异常值。
# 查找「牌面」包含 30 的异常值
df[df.牌面.isin(['30'])]
# 查找王牌，模糊匹配
df[df.牌面.str.contains(
'王', na=False
)]
# 查找编号在 1 到 5 之间的行
df[df.编号.between(1, 5)]
查找某个区间，也可以用逻辑运算的方法来实现：
# 查找编号在 1 到 5 之间的行
df[(df.编号 >= 1)
   & (df.编号 <= 5)]
其中「 & 」代表必须同时满足两边的条件，也就是「且」的意思。还可以用下面等价的方法：
# 查找编号在 1 到 5 之间的行
df[~((df.编号 < 1)
     | (df.编号 > 5))]
其中「 | 」代表两边的条件满足一个即可，也就是「或」的意思，「 ~ 」代表取反，也就是「非」的意思。2. 如何排除重复？使用 drop_duplicates() 函数，在排除重复之后，会得到一个新的数据框。
# 排除完全重复的行，默认保留第一行
df.drop_duplicates()
返回结果如下：如果想要改变原来的数据框，有两种方法，一种方法，是增加 inplace 参数：
# 排除重复后直接替换原来的数据框
df.drop_duplicates(
    inplace=True
)
另一种方法，是把得到的结果，重新赋值给原来的数据框：
# 排除重复后，重新赋值给原来的数据框
df = df.drop_duplicates()
如果想要按某一列排除重复的数据，那么指定相应的列名即可。
# 按某一列排除重复，默认保留第一行
df.drop_duplicates(['花色'])
如果想要保留重复的最后一行，那么需要指定 keep 参数。
# 按某一列排除重复，并保留最后一行
df.drop_duplicates(
    ['花色'], keep='last'
)
从上面两个返回结果的编号可以看出，不同方法的差异情况。3. 如何删除缺失？使用 dropna() 函数，默认删除包含缺失的行。为了更加简单易懂，我们用扑克牌中不重复的花色作为示例。
# 不重复的花色
color = df.drop_duplicates(
    ['花色']
)

color
# 删除包含缺失值的行
color.dropna()
如果想要删除整行全部为空的行，那么需要指定 how 参数。
# 删除全部为空的行
color.dropna(how='all')
如果想要删除包含缺失值的列，那么需要指定 axis 参数。
# 删除包含缺失值的列
color.dropna(axis=1)
可以看到，包含缺失值的「花色」这一列被删除了。4. 如何补全缺失？使用 fillna() 函数，可以将缺失值填充为我们指定的值。
# 补全缺失值
color.fillna('Joker')
可以看到，原来的 NaN 被填充为 Joker，在实际工作的应用中，通常填充为 0，也就是说， fillna(0) 是比较常见的用法。如果想要使用临近的值来填充，那么需要指定 method 参数，例如：
# 用后面的值填充
color.fillna(method='bfill')
可以看到，原来第一行的 NaN 替换成了第二行的「黑桃♠️」。其中 method 还有一些其他的可选参数，详情可以查看相关的帮助文档。还有一种按字典填充的方法。为了让下面的演示更加直观易懂，我们先把索引为 2 的牌面设置为缺失值：
# 为了演示，先指定一个缺失值
color.loc[2, '牌面'] = np.nan
color
# 按列自定义补全缺失值
color.fillna(
    {'花色': 0, '牌面': 1}
)
可以看出，不同列的缺失值，可以填充为不同的值，花色这一列填充为 0，牌面这一列填充为 1，我在图中分别用红色的方框标记出来了。5. 应用案例下面我们用 Python 代码，把这幅待清洗的扑克牌数据集，变成一副正常的扑克牌数据。
import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
'待清洗的扑克牌数据集.xlsx'
)

# 补全缺失值
df = df.fillna('Joker')

# 排除重复值
df = df.drop_duplicates()

# 修改异常值
df.loc[4, '牌面'] = 3

# 增加一张缺少的牌
df = df.append(
    {'编号': 4,
'花色': '黑桃♠',
'牌面': 2},
    ignore_index=True
)

# 按编号排序
df = df.sort_values('编号')

# 重置索引
df = df.reset_index()

# 删除多余的列
df = df.drop(
    ['index'], axis=1
)

# 把清洗好的数据保存到 Excel 文件
df.to_excel(
'完成清洗的扑克牌数据.xlsx',
    index=False
)

df
返回结果如下：
可以看到，我们已经成功地把它变成了一副正常的扑克牌数据。6. 小结我们简单回顾一下本文的主要内容，首先，我们从宏观层面介绍了数据分析的 8 个步骤，然后用一副待清洗的扑克牌数据集作为示例，从读取数据，到查找异常，再到排除重复、删除缺失和补全缺失，最后，我们用一个案例，完整演示了清洗数据的过程。如果你想要获取本文的案例数据，请前往林骥的公众号后台回复「清洗」。猜你喜欢如何用 Python 读取数据？用扑克牌演示 Python 数据分析数据分析的 8 种思维

怎样向R语言中导入excel中整理好的数据呢？
data1 
另外，R应该用/，而不\
所以应该是data1 
或者用两个\\
data1 
还有R区小写以应该用C:，而不是c:
如何将R语言中的表格数据输出为Excel文件
需要导入 包rJava和xlsx
运用write.xlsx格式：write.xlsx(x, file, sheetName="Sheet1",
col.names=TRUE, row.names=TRUE, append=FALSE, showNA=TRUE)
x为数据集，file为文件名(导默认文件夹，通过过getwd()查询默认目录，setwd()修改目录)
还可以运用函数write.cxv：格式：write.csv(x, file)
r语言怎样把新数据再加到已有数据的excel表格里
data1 
另外，R应该用/，而不\
所以应该是data1 
或者用两个\\
data1 
还有R区小写以应该用C:，而不是c:
如何从excel把数据导入到r中
需要导入 包rJava和xlsx
运用write.xlsx格式：write.xlsx(x, file, sheetName="Sheet1",
col.names=TRUE, row.names=TRUE, append=FALSE, showNA=TRUE)
x为数据集，file为文件名(导默认文件夹，通过过getwd()查询默认目录，setwd()修改目录)
还可以运用函数write.cxv：格式：write.csv(x, file)
r语言怎么导入数据，导入后怎么调用
做分析数据真是一大悲剧，正是无水、无根之木再加米之炊。通常我寻到的数据格式主要有文本格式、Excel格式和SPSS格式。当然也会有从数据库等其它途径进来，这不在本文讨论范围内。
一般的文本格式导入，都可以用read.table命令把数据扔进R里面。Excel和Spss数据的话，可用相应软件将文件打开，观察数据结构后将其复制到剪贴板，然后一样可以用read.table('clipboard')扔到R里面。如果文件太大不好复制，那么可以利用Excel和Spss的导出功能，将数据导出成文本格式。
还有一种情况就是，你的计算机上没有安装Excel或是Spss，这数据导入就要用到RODBC扩展包了。首先装载RODBC包。然后输入数据文件的绝对路径(要注意是用/而不是\)来定义连接，最后用数据抓取命令获取你需要的标签页数据内容(Sheet1)。
library(RODBC)
channel=odbcConnectExcel("d:/test.xls")
mydata=sqlFetch(channel,'Sheet1')这样简单的两个步骤就可以将Excel数据导入R的mydata变量中。如果是Excel2007格式数据则要换一个函数
channel=odbcConnectExcel2007('d:/test.xlsx')
mydata=sqlFetch(channel,'Sheet1')导入spss的sav格式数据则要用到foreign扩展包，加载后直接用read.spss读取sav文件
library(foreign)
mydata=read.spss('d:/test.sav')上面的函数在很多情况下没能将sav文件中的附加信息导进来，例如数据的label，那么建议用Hmisc扩展包的spss.get函数，效果会更好一些。

	

先从金斧子官网找到基金的净值，复制到excel表。如下图，左边一列是2015年以来【安信乾盛鹏*2期】的净值数据，右边一列为【从*全天候联接A 】的净值数据。
在开始栏目下，找到“替换"
选中A列，将净值日期的.替换为/
接下来整理数据，将这两个基金具有【相同净值日期】的数据放在同一行，如持有下图这两个基金，望正的净值只保留月底那一天的数据，其他数据去除。
整理后的数据如下
将上表的累计净值、涨跌幅去掉，同时从http://quotes.money.163.com/trade/lsjysj_zhishu_399300.html网易财经上导出沪深300指数历史数据，并手动加入到上述表格。(由于数据较多，可先将基金净值数据和沪深300数据各自放在一个excel表，然后用本文末的python程序,，将有相同日期的放在一个表格。)
净值化沪深300指数(即净值日收盘价除以2015年5月买入望正时的沪深300指数)，同时计算整体组合的份额(2015年买入100万份组合份额，2017年10月底，买入80.906万份组合份额)
计算持仓市值后，组合净值即为持仓市值除以份额。
画图，插入图表。
得出净值图如下：
选中日期这一水平轴，点”选择数据“
得出组合净值走势和沪深300的走势如下：
同样的方法将持仓市值的数据添加进来，由于持仓市值和组合净值、沪深300的单位不一样，我们更改图表类型，将持仓市值显示在有坐标轴
调整一下颜色，得出净值走势图如下：
附：
import pandas as pd
zuhe = pd.read_excel('C:/Users/bowen.chen/data/AAA.xlsx')
hs = pd.read_excel('C:/Users/bowen.chen/data/沪深300指数.xlsx')
data_mg = pd.merge(left=zuhe, right=hs, how='outer', on='净值日期', suffixes=('_1', '_2'))
data_mg.to_excel('BBB.xlsx', index=False)