import os
import pandas as pd


# 将文件读取出来放一个列表里面

pwd = 'Data' # 获取文件目录

# 新建列表，存放文件名
file_list = []

# 新建列表存放每个文件数据(依次读取多个相同结构的Excel文件并创建DataFrame)
dfs = []

for root,dirs,files in os.walk(pwd): # 第一个为起始路径，第二个为起始路径下的文件夹，第三个是起始路径下的文件。
  for file in files:
    file_path = os.path.join(root, file)
    file_list.append(file_path) # 使用os.path.join(dirpath, name)得到全路径
    df = pd.read_excel(file_path) # 将excel转换成DataFrame
    dfs.append(df)

# 将多个DataFrame合并为一个
df = pd.concat(dfs)

# 写入excel文件，不包含索引数据
df.to_excel('Result.xls', index=False)

1. 背景与需求

在处理数据中，往往需要做多维特征提取（一对多），如下：

一个企业会有多个擅长领域，为了作多维度数据特征分析，需要将‘企业画像’中单元格的数据进行拆分成为一行一个特征的数据样式，且其他列数据保持不变，简单的demo（以随机两个公司为例）如下

2. 问题解决

这里需要使用pandas中的explode方法，注意此方法是在0.25.0版本之后才有，所以确认当前的pandas版本是在此之上，查看某个库的版本可以使用如下代码

import pandas
print(pandas.__version__)

0.25.3 #当前的版本

2.1 官方示例

df.explode() 方法的使用代码如下：

import pandas as pd
df = pd.DataFrame({'A': [[1, 2, 3], 'foo', [], [3, 4]], 'B': 1})
print(df)

print(df.explode('A'))

→ 输出的结果为：（会将一列的单元格数据进行拆分，注意数据的格式：列表里面多个元素）

           A  B
0  [1, 2, 3]  1
1        foo  1
2         []  1
3     [3, 4]  1

     A  B
0    1  1
0    2  1
0    3  1
1  foo  1
2  NaN  1
3    3  1
3    4  1

2.2 实际操作

首先导入库，进行文件数据的读取

import pandas as pd

data = pd.read_excel('data_ok.xlsx')
data.head(10)

→ 输出的结果为：（文件数据导入成功）

2.2.1 采坑

观察官方给出的示例，为了确保数据的格式一样，先把格式化为统一，因此就对‘企业画像’这个字段进行数据处理

data['企业画像'] = data['企业画像'].apply(lambda x:[x.replace('、',', ')])
data.head(10)

→ 输出的结果为：（在jupyter notebook里面这里看上去是和官方是一致的）

然后在按照‘企业画像’字段进行拆分数据，运行代码及输出的结果如下，会发现并没有出现想要的结果

2.2.2 问题纠错

碰巧的是我在spyder里面运行相同的代码，然后在调试的过程中，发现中间进行目标格式转化时，spyder的变量查看器里的数据格式是和jupyter notebook中不一样（列表里面只有一个元素）。当执行完数据格式转化之后，spyder中的数据如下

区别在于，jupyter notebook在显示数据的时候将代表字符串格式的引号省去了，但是spyder中是显示出来了。 因此可以推测：虽然在jupyter notebook中数据看上去是一致的，但是格式上并没有化为一致，这也就是为什么直接explode之后并没有出现我们想要的结果的原因，接下来的操作中证实了这个猜测

3. 问题解决

还是修改‘企业画像’中单元格的数据格式，这次应该是将数据转为一个一个的元素，然后是列表的形式，就可以使用split方法，代码及输出结果如下：

然后为了再次体现出差异性，将相同的代码在spyder中运行，结果如下

然后再对比‘企业画像’中的数据，可以发现之间的区别：jupyter notebook在显示数据的时候会将引号省去，造成表面上数据格式的统一（也证实了之前的猜测），这次的数据格式是和官方示范的一样了，接下来就是进行数据拆分了

在jupyter notebook中执行代码如下：

在spyder中执行代码如下：

最终完成数据清洗的要求，进行数据的多维特征提取

4. 小结

官方示例给的demo很是简洁，但是在实际操作的过程中数据并没有那么简单，而且在编程敲代码中不要只习惯用一种编辑器，因为没有一种编辑器可以说是非常完美的，都存在优缺点，根据具体的需要选择相应的编辑器即可

切记：敲代码的初衷是解决问题，使得问题简单化而不是复杂化

用Python处理Excel的实质即是用编程来替代手动操作，对于处理日常经常需要处理规律性的数据，可以较大地解放生产力。本文主要涉及处理以下内容：

1、取消单元格合并

2、合并单元格

3、写入公式

4、字体样式

5、文本对齐

6、单元格写入数据

主要操作就是，如何将左图的数据处理为右图的数据。在源数据表demo.xlsx中，左图位于工作簿的Sheet1表。

源数据

希望处理后数据

# 导入需要的模块

from openpyxl import load_workbook

# 加载需要处理的文件

wb2 = load_workbook('demo.xlsx')

我们可以用print (wb2.sheetnames)，来查看加载的工作簿中包含的工作表。工作中，一个工作簿一般包含许多工作表。

如截图所示，在待处理的数据中A3:B3是合并了单元格的，要做的操作即取消合并单元格，然后重新对A3:C3进行合并单元格。

# 选取需要处理的工作表，待处理的数据在Sheet1表

ws = wb2['Sheet1']

# 取消合并单元格，内容不会丢失

ws.unmerge_cells('A3:B3')

# 重新合并单元格。当内容在第一个单元格合并后不会丢失；如果在居中单元格，则会丢失。

ws.merge_cells('A3:C3')

对源数据增加合并行，在A9单元格输入内容「合并」，对面积和人口进行求和。

ws['A9'].value = '合计'

ws.cell(row=9,column=2).value = '=SUM(B5:B8)'

ws.cell(row=9,column=3).value = '=SUM(C5:C8)'

# 可以用A9这种写法，也可以用(row=9,column=1)这种写法

对字体样式等进行处理，需要导入需要的模块Font和Alignment。其中Font 对象有 4 个参数，分别为：

Name：字符串值，设置字体名称，例如“Arial”

Size：整数值，设置字体大小。

Bold：布尔值，设置是否加粗字体，为 True 则加粗。

Italic：布尔值，设置是否为斜体，为 True 则为斜体。

Underline：设置是否下划线，none表示无下划线。

Color：设置字体颜色，FF0000表示红色。

Alignment设置单元格字体对齐，常用的参数如下：

horizontal，可以设置水平居中。

vertical，可以用来设置垂直居中。

wrap_text，用来设置是否自动换行。

# 导入所需的Font和Alignment

from openpyxl.styles import Font

from openpyxl.styles import Alignment

# 进行所需的字体样式，微软雅黑、13号、粗体、非斜体、无下划线、红色

all_font = Font(name='微软雅黑',size=13,bold=True,italic=False,underline='none',color='FF0000')

# 和对齐方式设置，垂直居中、水平居中、无自动换行

align = Alignment(horizontal='center',vertical='center',wrap_text=False）

对合并单元格、求和行应用相关的字体和对齐方式设置

ws['A3'].font = all_font

ws['A3'].alignment = align

ws['A9'].font = all_font

ws.cell(row=9,column=2).font = all_font

ws.cell(row=9,column=3).font = all_font

处理完之后记得进行保存。

wb2.save('demo.xlsx')

当我们完全处理完上面的步骤，然后打开工作簿会发现Sheet1的源数据已经处理OK了。

欲知更多的操作，且看下回分解。。。