-
从多张工作簿(workbooks)中多张工作表(worksheets)同一位置提取数据
2019-03-14 09:29:36数据:N张工作簿,每张工作簿里又有M张工作表,每张工作表的同一位置Cells(2,16)有需要的数据,想讲这些数据汇总到一张新的表格。 新建一张“汇总.xlsm”,并打开,新建sub()过程; 依次打开工作簿; 源码如下: ...数据:N张工作簿,每张工作簿里又有M张工作表,每张工作表的同一位置Cells(2,16)有需要的数据,想讲这些数据汇总到一张新的表格。
- 新建一张“汇总.xlsm”,并打开,新建sub()过程;
- 依次打开工作簿;
- 源码如下:
Public Sub Data()
Dim i As Integer
Dim j As IntegerFor i = 1 To Workbooks.Count
Workbooks(i).Activate
For j = 1 To Worksheets.Count
Workbooks(1).Worksheets(1).Cells(j, i) = Worksheets(j).Cells(2, 16)
Next
NextEnd Sub
最终即可实现将每张工作簿中每张工作表的数据按列写入“汇总.xlsm”
-
用python + openpyxl处理excel(07+)多文档合并+表格合并 + 一些中文处理的技巧
2018-06-20 18:03:02最近要帮做RA的老姐写个合并excel工作表的脚本……源数据是4000+个excel 工作表,分布在9个xlsm文件里,文件内容是中英文混杂的一些数据,需要从每张表中提取需要的部分,分门别类合并到多个大的表里。寻觅工具确定...最近要帮做RA的老姐写个合并excel工作表的脚本……源数据是4000+个excel 工作表,分布在9个xlsm文件里,文件内容是中英文混杂的一些数据,需要从每张表中提取需要的部分,分门别类合并到多个大的表里。
寻觅工具
确定任务之后第一步就是找个趁手的库来干活。 Python Excel上列出了xlrd、xlwt、xlutils这几个包,但是
- 它们都比较老,xlwt甚至不支持07版以后的excel
- 它们的文档不太友好,都可能需要去读源代码,而老姐的任务比较紧,加上我当时在期末,没有这个时间细读源代码
再一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
安装
这个很容易,直接pip install openpyxl,呵呵呵~
因为我不需要处理图片,就没有装pillow。
一些考虑
- 源文件大约一个在1~2MB左右,比较小,所以可以直接读入内存处理。
- 既然是处理excel,何况他们整个组显然都是win下干活(数据都用excel存了= =,商科的人啊……),这个脚本还是在win下做吧
- 这个任务完全不需要我对现有的文件做修改!囧……我只要读入、处理、再写出另一个文件就行了
学习使用
嗯,就是打开cmd,然后用python的shell各种玩这个模块来上手……(win下没有装ipython,囧)
做这个小脚本基本上我只需要import两个东西
from openpyxl import Workbook from openpyxl import load_workbook
load_workbook顾名思义是把文件导入到内存,Workbook是最基本的一个类,用来在内存里创建文件最后写进磁盘的。
干活
首先我需要导入这个文件
inwb = load_workbook(filename)
得到的就是一个workbook对象
然后我需要创建一个新的文件
outwb = Workbook()
接着在这个新文件里,用create_sheet新建几个工作表,比如
careerSheet = outwb.create_sheet(0, 'career')
就会从头部插入一个叫career的工作表(也就是说用法类似python list的insert)
接下来我需要遍历输入文件的每个工作表,并且按照表名做一些工作(e.g.如果表名不是数字,我不需要处理),openpyxl支持用字典一样的方式通过表名获取工作表,获取一个工作簿的表名的方法是get_sheet_names
for sheetName in inwb.get_sheet_names(): if not sheetName.isdigit(): continue sheet = inwb[sheetName]
得到工作表之后,就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数,获取行和列的方法是sheet.rows和sheet.columns,它们都可以像list一样用。比如,如果我想跳过数据少于2列的表,可以写
if len(sheet.columns) < 2: continue
如果我想获取这个工作表的前两列,可以写
colA, colB = sheet.columns[:2]
除了用columns和rows来得到这个工作表的行列之外,还可以用excel的单元格编码来获取一个区域,比如
cells = sheet['A1':'B20']
有点像excel自己的函数,可以拉出一块二维的区域~
为了方便处理,遇到一个没有C列的工作表,我要创建一个和A列等长的空的C列出来,那么我可以用sheet.cell这个方法,通过传入单元格编号和添加空值来创建新列。
alen = len(colA) for i in range(1, alen + 1): sheet.cell('C%s' % (i)).value = None
注意:excel的单元格命名是从1开始的~
上面的代码也显示出来了,获取单元格的值是用cell.value(可以是左值也可以是右值),它的类型可以是字符串、浮点数、整数、或者时间(datetime.datetime),excel文件里也会生成对应类型的数据。
得到每个单元格的值之后,就可以进行操作了~openpyxl会自 动将字符串用unicode编码,所以字符串都是unicode类型的。
除了逐个逐个单元格用cell.value修改值以外,还可以一行行append到工作表里
sheet.append(strA, dateB, numC)
最后,等新的文件写好,直接用workbook.save保存就行
outwb.save("test.xlsx")
这个会覆盖当前已有的文件,甚至你之前读取到内存的那个文件。
一些要注意的地方
如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标
for idx, cell in enumerate(colA): # do something...
为了防止获取的数据两端有看不见的空格(excel文件里很常见的坑),记得strip()
如果工作表里的单元格没有数据,openpyxl会让它的值为None,所以如果要基于单元格的值做处理,不能预先假定它的类型,最好用
if not cell.value continue
之类的语句来先行判断
如果要处理的excel文件里有很多noise,比如当你预期一个单元格是时间的时候,有些表的数据可能是字符串,这时候可以用
if isinstance(cell.value, unicode): break
之类的语句处理。
- win下的cmd似乎不太好设定用utf-8的code page,如果是简体中文的话可以用936(GBK),print的时候会自动从unicode转换到GBK输出到终端。
一些帮忙处理中文问题的小函数
我处理的表有一些超出GBK范围的字符,当我需要把一些信息print出来监控处理进度的时候非常麻烦,好在它们都是可以无视的,我直接用空格替换再print也行,所以加上一些我本来就要替换掉的分隔符,我可以:
# annoying seperators dot = u'\u00b7' dash = u'\u2014' emph = u'\u2022' dot2 = u'\u2027' seps = (u'.', dot, dash, emph, dot2) def get_clean_ch_string(chstring): """Remove annoying seperators from the Chinese string. Usage: cleanstring = get_clean_ch_string(chstring) """ cleanstring = chstring for sep in seps: cleanstring = cleanstring.replace(sep, u' ') return cleanstring
此外我还有一个需求,是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。
首先我需要能把英文和中文分割开,我的办法是用正则匹配,按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下:
# regex pattern matching all ascii characters asciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127)) # regex pattern matching all common Chinese characters and seporators chinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))
英文就用ASCII可打印字符的范围替代,常见中文字符的范围是\u4e00-\u9fff,那个seps是前面提到过的超出GBK范围的一些字符。 除了简单的分割,我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况,判断逻辑如下:
def split_name(name): """Split [English name, Chinese name]. If one of them is missing, None will be returned instead. Usage: engName, chName = split_name(name) """ matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name) if matches: # English name + Chinese name return matches.group(1).strip(), matches.group(2).strip() else: matches = re.findall('(%s)' % (chinesePattern), name) matches = ''.join(matches).strip() if matches: # Chinese name only return None, matches else: # English name only matches = re.findall('(%s)' % (asciiPattern), name) return ''.join(matches).strip(), None
得到了中文名之后,我需要分割成姓和名,因为任务要求不需要把姓名分割得很明确,我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓,四个字的前两个字是姓,名字带分隔符的(少数民族名字)分隔符前是姓(这里用到了前面的get_clean_ch_string函数来移除分隔符),名字再长一些又不带分割符的,假设整个字符串都是名字。(注意英语的first name 指的是名,last name指的是姓,2333)
def split_ch_name(chName): """Split the Chinese name into first name and last name. * If the name is XY or XYZ, X will be returned as the last name. * If the name is WXYZ, WX will be returned as the last name. * If the name is ...WXYZ, the whole name will be returned as the last name. * If the name is ..ABC * XYZ..., the part before the seperator will be returned as the last name. Usage: chFirstName, chLastName = split_ch_name(chName) """ if len(chName) < 4: # XY or XYZ chLastName = chName[0] chFirstName = chName[1:] elif len(chName) == 4: # WXYZ chLastName = chName[:2] chFirstName = chName[2:] else: # longer cleanName = get_clean_ch_string(chName) nameParts = cleanName.split() print u' '.join(nameParts) if len(nameParts) < 2: # ...WXYZ return None, nameParts[0] chLastName, chFirstName = nameParts[:2] # ..ABC * XYZ... return chFirstName, chLastName
分割英文名就很简单了,空格分开,第一部分是名,第二部分是姓,其他情况暂时不管就行。
-
网管教程 从入门到精通软件篇.txt
2010-04-25 22:43:49网管教程 从入门到精通软件篇 ★一。★详细的xp修复控制台命令和用法!!! 放入xp(2000)的光盘,安装时候选R,修复! Windows XP(包括 Windows 2000)的控制台命令是在系统出现一些意外情况下的一种非常有效的... -
1.4亿实体、数据增强在机器翻译及其他nlp任务中的应用及效果、allennlp阅读理解:支持多种数据和模型、PDF表格数据提取工具 、 Graphbrain:AI开源软件库和科研工具,目的是促进自动意义提取和文本理解以及知识的探索...
-
Excel公式大全操作应用实例(史上最全)
2018-03-06 21:09:38Excel表格里如何插入页码的? 如何设置页脚首页为第5页 表格的页脚问题 无拘无束的页眉 打印表头 Excel打印中如何不显示错误值符号 对于一些不可打印的字符的处理 用那个函数可将个位数前面的零值显示出来? 如果你要... -
EXCEL函数公式集
2010-03-16 03:26:38Excel表格里如何插入页码的? 如何设置页脚首页为第5页 表格的页脚问题 无拘无束的页眉 打印表头 Excel打印中如何不显示错误值符号 对于一些不可打印的字符的处理 用那个函数可将个位数前面的零值显示出来? 如果你要... -
提几个比较大众的建议
2020-11-29 02:48:34然后也说一下数据是怎么从于数据库是怎么于前端表单存取的,你的想法都挺厉害的,但是我们希望你写一下基本实现的方法,比如你没有用模型啊这种,然后也有些人和我一样不会VUE.js,对... -
人力资源管理软件(完全免费)
2011-03-08 11:36:20支持数据复制,可指定条件复制部分数据,可从多个历史单据中复制 支持辅助数据管理(人力资源软件)(单机免费) 提供个税工具,应发金额、所得税、应发任输一个数据自动计算另外2个 灵活生成各类统计报表,可定制... -
oracle学习文档 笔记 全面 深刻 详细 通俗易懂 doc word格式 清晰 连接字符串
2017-05-06 20:26:523. 关系结构模型:关系式数据结构把一些复杂的数据结构归结为简单的二元关系(即二维表格形式)。常见的有Oracle、mssql、mysql等 二、 主流数据库 数据库名 公司 特点 工作环境 mssql 微软 只能能运行在windows平台,... -
java源码包---java 源码 大量 实例
2013-04-18 23:15:26通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ... -
JAVA上百实例源码以及开源项目源代码
2018-12-11 17:07:42Java从网络取得文件 1个目标文件 简单 Java从压缩包中提取文件 1个目标文件 简单 Java存储与读取对象 1个目标文件 如题 Java调色板面板源代码 1个目标文件 摘要:Java源码,窗体界面,调色板 使用Java语言编写的一款... -
JAVA上百实例源码以及开源项目
2016-01-03 17:37:40通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ... -
Oracle SQL高级编程(资深Oracle专家力作,OakTable团队推荐)--详细书签版
2013-02-04 12:43:529.1 电子表格 225 9.2 通过Model子句进行跨行引用 226 9.2.1 示例数据 226 9.2.2 剖析Model子句 227 9.2.3 规则 228 9.3 位置和符号引用 229 9.3.1 位置标记 229 9.3.2 符号标记 230 9.3.3 FOR循环 231 ... -
超旺软件最新单机版
2019-04-13 01:06:33包装及条码管理:超旺软件支持同一物品不同的包装有不同的条码,即一品多码设置,在建立商品档案时,选择“包装及条码管理”,填写好后,在“一品多码设置”中为另一包装设置条码和包装单位。 ◆ 其它注意事项: 1.... -
Oracle SQL高级编程(资深Oracle专家力作,OakTable团队推荐)--随书源代码
2013-02-04 12:49:339.1 电子表格 225 9.2 通过Model子句进行跨行引用 226 9.2.1 示例数据 226 9.2.2 剖析Model子句 227 9.2.3 规则 228 9.3 位置和符号引用 229 9.3.1 位置标记 229 9.3.2 符号标记 230 9.3.3 FOR循环 231 ... -
java源码包2
2013-04-20 11:28:17通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ... -
java源码包3
2013-04-20 11:30:13通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ... -
软件工程教程
2012-07-06 23:10:29用例图从系统外部、从用户角度出发描述系统的功能集 用例图所描述的系统功能依靠外部用户或另一个系统激活,为用户或另一个系统提供服务 用例表达“做什么” 用例图中可以包含若干个用例,用例表达了系统的功能 用例... -
成百上千个Java 源码DEMO 4(1-4是独立压缩包)
2017-03-29 17:40:59Java从网络取得文件 1个目标文件 简单 Java从压缩包中提取文件 1个目标文件 简单 Java存储与读取对象 1个目标文件 如题 Java调色板面板源代码 1个目标文件 摘要:Java源码,窗体界面,调色板 使用Java语言编写的一款... -
成百上千个Java 源码DEMO 3(1-4是独立压缩包)
2017-03-29 17:39:54Java从网络取得文件 1个目标文件 简单 Java从压缩包中提取文件 1个目标文件 简单 Java存储与读取对象 1个目标文件 如题 Java调色板面板源代码 1个目标文件 摘要:Java源码,窗体界面,调色板 使用Java语言编写的一款... -
java源码包
2015-12-01 16:29:37通过网络或磁盘等方式,把公钥编码传送给李四,李四接收到张三编码后的公钥,将其解码,李四用张三的公钥加密信息,并发送给李四,张三用自己的私钥解密从李四处收到的信息…… Java利用DES私钥对称加密代码实例 ... -
Advanced Bash-Scripting Guide 高级Bash 脚本编程指南>>
2010-01-05 20:04:27表格清单: 11-1. 作业标识符 30-1. Bash 选项 33-1. 转义序列中数值和彩色的对应 B-1. Special Shell Variables B-2. TEST Operators: Binary Comparison B-3. TEST Operators: Files B-4. Parameter Substitution ... -
深入学习shell脚本艺术
2011-02-22 04:01:01所幸的是,我看到了这本被人称为abs的书,这本书介绍了bash大量的细节和广阔的范围,我遇到的绝大部分的技术问题--无论是我忘记的或是以前没有发现的--都可以在这本书里找到答案。这本使用大量的例子详细地介绍了... -
电脑常见问题与故障1000例(高清PDF中文版)
2011-05-30 07:13:36本书分10章,共有1000多个实例,编写时从产生电脑故障的各个方面入手,涉及到硬件、软件等各方面的内容,其中包括开/关机中的问题、操作中的问题、软件运用的故障、外设故障以及病毒防治等等,这些都是个人电脑使用...