精华内容
下载资源
问答
  • Excel数据分析中最常用的工具,本篇文章通过pythonexcel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理 ,我们从1787页的pandas官网文档中总结出...

    Excel是数据分析中最常用的工具,本篇文章通过python与excel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理 ,我们从1787页的pandas官网文档中总结出最常用的36个函数,通过这些函数介绍如何通过python完成数据生成和导入,数据清洗,预处理,以及最常见的数据分类,数据筛选,分类 汇总,透视等最常见的操作。

    文章内容共分为9个部分。这是第一篇,介绍前3部分内容,数据表生成,数据表查看,和数据清洗。以下是《像Excel一样使用python进行数据分析》系列文章的目录。

    %E7%9B%AE%E5%BD%95-643x1024.png

    1, 生成数据表

    第一部分是生成数据表,常见的生成方法有两种,第一种是导入外部数据,第二种是直接写入数据。 Excel中的文件菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入。

    %E8%8E%B7%E5%8F%96%E5%A4%96%E9%83%A8%E6%95%B0%E6%8D%AE.png

    python支持从多种类型的数据导入。在开始使用python进行数据导入前需要先导入pandas库,为了方便起见,我们也同时导入numpy库。

    1

    2

    import numpy as np

    import pandas as pd

    导入数据表

    下面分别是从excel和csv格式文件导入数据并创建数据表的方法。代码是最简模式,里面有很多可选参数设置,例如列名称,索引列,数据格式等等。感兴趣的朋友可以参考pandas的

    官方文档。

    1

    2

    df=pd.DataFrame(pd.read_csv('name.csv',header=1))

    df=pd.DataFrame(pd.read_excel('name.xlsx'))

    创建数据表

    另一种方法是通过直接写入数据来生成数据表,excel中直接在单元格中输入数据就可以,python中通过下面的代码来实现。生成数据表的函数是pandas库中的DateFrame函数,数据表一共有6行数据,每行有6个字段。在数据中我们特意设置了一些NA值和有问题的字段,例如包含空格等。后面将在数据清洗步骤进行处理。后面我们将统一以DataFrame的简称df来命名数据表。

    1

    2

    3

    4

    5

    6

    7

    df= pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],

    "date":pd.date_range('20130102', periods=6),

    "city":['Beijing ','SH',' guangzhou ','Shenzhen','shanghai','BEIJING '],

    "age":[23,44,54,32,34,32],

    "category":['100-A','100-B','110-A','110-C','210-A','130-F'],

    "price":[1200,np.nan,2133,5433,np.nan,4432]},

    columns=['id','date','city','category','age','price'])

    这是刚刚创建的数据表,我们没有设置索引列,price字段中包含有NA值,city字段中还包含了一些脏数据。

    df.png

    2,数据表检查

    第二部分是对数据表进行检查,python中处理的数据量通常会比较大,比如我们之前的文章中介绍的纽约出租车数据和Citibike的骑行数据,数据量都在千万级,我们无法一目了然的 了解数据表的整体情况,必须要通过一些方法来获得数据表的关键信息。数据表检查的另一个目的是了解数据的概况,例如整个数据表的大小,所占空间,数据格式,是否有空值和重复项和具体的数据内容。为后面的清洗和预处理做好准备。

    数据维度(行列)

    Excel中可以通过CTRL+向下的光标键,和CTRL+向右的光标键来查看行号和列号。Python中使用shape函数来查看数据表的维度,也就是行数和列数,函数返回的结果(6,6)表示数据表有6行,6列。下面是具体的代码。

    1

    2

    3

    #查看数据表的维度

    df.shape

    (6,6)

    数据表信息

    使用info函数查看数据表的整体信息,这里返回的信息比较多,包括数据维度,列名称,数据格式和所占空间等信息。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    #数据表信息

    df.info()

    <class 'pandas.core.frame.DataFrame'>

    RangeIndex:6 entries,0 to5

    Data columns (total6 columns):

    id 6 non-null int64

    date6 non-null datetime64[ns]

    city6 non-nullobject

    category6 non-nullobject

    age6 non-null int64

    price4 non-null float64

    dtypes: datetime64[ns](1), float64(1), int64(2),object(2)

    memory usage:368.0+ bytes

    查看数据格式

    Excel中通过选中单元格并查看开始菜单中的数值类型来判断数据的格式。Python中使用dtypes函数来返回数据格式。

    %E6%9F%A5%E7%9C%8B%E6%95%B0%E6%8D%AE%E6%A0%BC%E5%BC%8F.png

    Dtypes是一个查看数据格式的函数,可以一次性查看数据表中所有数据的格式,也可以指定一列来单独查看。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    #查看数据表各列格式

    df.dtypes

    id int64

    date datetime64[ns]

    cityobject

    categoryobject

    age int64

    price float64

    dtype:object

    1

    2

    3

    4

    #查看单列格式

    df['B'].dtype

    dtype('int64')

    查看空值

    Excel中查看空值的方法是使用“定位条件”功能对数据表中的空值进行定位。“定位条件”在“开始”目录下的“查找和选择”目录中。

    %E6%9F%A5%E7%9C%8B%E7%A9%BA%E5%80%BC.png

    Isnull是Python中检验空值的函数,返回的结果是逻辑值,包含空值返回True,不包含则返回False。可以对整个数据表进行检查,也可以单独对某一列进行空值检查。

    1

    2

    #检查数据空值

    df.isnull()

    df_isnull.png

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    #检查特定列空值

    df['price'].isnull()

    0 False

    1 True

    2 False

    3 False

    4 True

    5 False

    Name: price, dtype:bool

    查看唯一值

    Excel中查看唯一值的方法是使用“条件格式”对唯一值进行颜色标记。Python中使用unique函数查看唯一值。

    %E6%9F%A5%E7%9C%8B%E5%94%AF%E4%B8%80%E5%80%BC.png

    Unique是查看唯一值的函数,只能对数据表中的特定列进行检查。下面是代码,返回的结果是该列中的唯一值。类似与Excel中删除重复项后的结果。

    1

    2

    3

    4

    #查看city列中的唯一值

    df['city'].unique()

    array(['Beijing ','SH',' guangzhou ','Shenzhen','shanghai','BEIJING '], dtype=object)

    查看数据表数值

    Python中的Values函数用来查看数据表中的数值。以数组的形式返回,不包含表头信息。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    #查看数据表的值

    df.values

    array([[1001, Timestamp('2013-01-02 00:00:00'),'Beijing ','100-A',23,

    1200.0],

    [1002, Timestamp('2013-01-03 00:00:00'),'SH','100-B',44, nan],

    [1003, Timestamp('2013-01-04 00:00:00'),' guangzhou ','110-A',54,

    2133.0],

    [1004, Timestamp('2013-01-05 00:00:00'),'Shenzhen','110-C',32,

    5433.0],

    [1005, Timestamp('2013-01-06 00:00:00'),'shanghai','210-A',34,

    nan],

    [1006, Timestamp('2013-01-07 00:00:00'),'BEIJING ','130-F',32,

    4432.0]], dtype=object)

    查看列名称

    Colums函数用来单独查看数据表中的列名称。

    1

    2

    3

    4

    #查看列名称

    df.columns

    Index(['id','date','city','category','age','price'], dtype='object')

    查看前10行数据

    Head函数用来查看数据表中的前N行数据,默认head()显示前10行数据,可以自己设置参数值来确定查看的行数。下面的代码中设置查看前3行的数据。

    1

    2

    #查看前3行数据

    df.head(3)

    df_head3.png

    查看后10行数据

    Tail行数与head函数相反,用来查看数据表中后N行的数据,默认tail()显示后10行数据,可以自己设置参数值来确定查看的行数。下面的代码中设置查看后3行的数据。

    1

    2

    #查看最后3行

    df.tail(3)

    df_tail3.png

    3,数据表清洗

    第三部分是对数据表中的问题进行清洗。主要内容包括对空值,大小写问题,数据格式和重复值的处理。这里不包含对数据间的逻辑验证。

    处理空值(删除或填充)

    我们在创建数据表的时候在price字段中故意设置了几个NA值。对于空值的处理方式有很多种,可以直接删除包含空值的数据,也可以对空值进行填充,比如用0填充或者用均值填充。还可以根据不同字段的逻辑对空值进行推算。

    Excel中可以通过“查找和替换”功能对空值进行处理,将空值统一替换为0或均值。也可以通过“定位”空值来实现。

    %E6%9F%A5%E6%89%BE%E5%92%8C%E6%9B%BF%E6%8D%A2%E7%A9%BA%E5%80%BC.png

    Python中处理空值的方法比较灵活,可以使用 Dropna函数用来删除数据表中包含空值的数据,也可以使用fillna函数对空值进行填充。下面的代码和结果中可以看到使用dropna函数后,包含NA值的两个字段已经不见了。返回的是一个不包含空值的数据表。

    1

    2

    #删除数据表中含有空值的行

    df.dropna(how='any')

    df_dropna.png

    除此之外也可以使用数字对空值进行填充,下面的代码使用fillna函数对空值字段填充数字0。

    1

    2

    #使用数字0填充数据表中空值

    df.fillna(value=0)

    我们选择填充的方式来处理空值,使用price列的均值来填充NA字段,同样使用fillna函数,在要填充的数值中使用mean函数先计算price列当前的均值,然后使用这个均值对NA进行填

    充。可以看到两个空值字段显示为3299.5

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    #使用price均值对NA进行填充

    df['price'].fillna(df['price'].mean())

    0 1200.0

    1 3299.5

    2 2133.0

    3 5433.0

    4 3299.5

    5 4432.0

    Name: price, dtype: float64

    df_nan.png

    清理空格

    除了空值,字符中的空格也是数据清洗中一个常见的问题,下面是清除字符中空格的代码。

    1

    2

    #清除city字段中的字符空格

    df['city']=df['city'].map(str.strip)

    大小写转换

    在英文字段中,字母的大小写不统一也是一个常见的问题。Excel中有UPPER,LOWER等函数,python中也有同名函数用来解决大小写的问题。在数据表的city列中就存在这样的问题。我们将city列的所有字母转换为小写。下面是具体的代码和结果。

    1

    2

    3

    #city列大小写转换

    df['city']=df['city'].str.lower()

    lower.png

    更改数据格式

    Excel中通过“设置单元格格式”功能可以修改数据格式。Python中通过astype函数用来修改数据格式。

    %E8%AE%BE%E7%BD%AE%E5%8D%95%E5%85%83%E6%A0%BC%E6%A0%BC%E5%BC%8F.png

    Python中dtype是查看数据格式的函数,与之对应的是astype函数,用来更改数据格式。下面的代码中将price字段的值修改为int格式。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    #更改数据格式

    df['price'].astype('int')

    0 1200

    1 3299

    2 2133

    3 5433

    4 3299

    5 4432

    Name: price, dtype: int32

    更改列名称

    Rename是更改列名称的函数,我们将来数据表中的category列更改为category-size。下面是具体的代码和更改后的结果。

    1

    2

    #更改列名称

    df.rename(columns={'category':'category-size'})

    df_rename.png

    删除重复值

    很多数据表中还包含重复值的问题,Excel的数据目录下有“删除重复项”的功能,可以用来删除数据表中的重复值。默认Excel会保留最先出现的数据,删除后面重复出现的数据。

    %E5%88%A0%E9%99%A4%E9%87%8D%E5%A4%8D%E9%A1%B9.png

    Python中使用drop_duplicates函数删除重复值。我们以数据表中的city列为例,city字段中存在重复值。默认情况下drop_duplicates()将删除后出现的重复值(与excel逻辑一致)。增加keep=’last’参数后将删除最先出现的重复值,保留最后的值。下面是具体的代码和比较结果。

    原始的city列中beijing存在重复,分别在第一位和最后一位。

    1

    2

    3

    4

    5

    6

    7

    8

    df['city']

    0 beijing

    1 sh

    2 guangzhou

    3 shenzhen

    4 shanghai

    5 beijing

    Name: city, dtype:object

    使用默认的drop_duplicates()函数删除重复值,从结果中可以看到第一位的beijing被保留,最后出现的beijing被删除。

    1

    2

    3

    4

    5

    6

    7

    8

    #删除后出现的重复值

    df['city'].drop_duplicates()

    0 beijing

    1 sh

    2 guangzhou

    3 shenzhen

    4 shanghai

    Name: city, dtype:object

    设置keep=’last"’参数后,与之前删除重复值的结果相反,第一位出现的beijing被删除,保留了最后一位出现的beijing。

    1

    2

    3

    4

    5

    6

    7

    8

    #删除先出现的重复值

    df['city'].drop_duplicates(keep='last')

    1 sh

    2 guangzhou

    3 shenzhen

    4 shanghai

    5 beijing

    Name: city, dtype: objec

    数值修改及替换

    数据清洗中最后一个问题是数值修改或替换,Excel中使用“查找和替换”功能就可以实现数值的替换。

    %E6%9F%A5%E6%89%BE%E5%92%8C%E6%9B%BF%E6%8D%A2%E7%A9%BA%E5%80%BC1.png

    Python中使用replace函数实现数据替换。数据表中city字段上海存在两种写法,分别为shanghai和SH。我们使用replace函数对SH进行替换。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    #数据替换

    df['city'].replace('sh','shanghai')

    0 beijing

    1 shanghai

    2 guangzhou

    3 shenzhen

    4 shanghai

    5 beijing

    Name: city, dtype:object

    本篇文章这是系列的第二篇,介绍第4-6部分的内容,数据表生成,数据表查看,和数据清洗。

    4-6%E7%9B%AE%E5%BD%95.png

    4,数据预处理

    第四部分是数据的预处理,对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并,排序,数值分列,数据分

    组及标记等工作。

    数据表合并

    首先是对不同的数据表进行合并,我们这里创建一个新的数据表df1,并将df和df1两个数据表进行合并。在Excel中没有直接完成数据表合并的功能,可以通过VLOOKUP函数分步实现。在python中可以通过merge函数一次性实现。下面建立df1数据表,用于和df数据表进行合并。

    1

    2

    3

    4

    5

    #创建df1数据表

    df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],

    "gender":['male','female','male','female','male','female','male','female'],

    "pay":['Y','N','Y','Y','N','Y','N','Y',],

    "m-point":[10,12,20,40,40,40,30,20]})

    df1.png

    使用merge函数对两个数据表进行合并,合并的方式为inner,将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为df_inner。

    1

    2

    #数据表匹配合并,inner模式

    df_inner=pd.merge(df,df1,how='inner')

    df_inner.png

    除了inner方式以外,合并的方式还有left,right和outer方式。这几种方式的差别在我其他的文章中有详细的说明和对比。

    1

    2

    3

    4

    #其他数据表匹配模式

    df_left=pd.merge(df,df1,how='left')

    df_right=pd.merge(df,df1,how='right')

    df_outer=pd.merge(df,df1,how='outer')

    设置索引列

    完成数据表的合并后,我们对df_inner数据表设置索引列,索引列的功能很多,可以进行数据提取,汇总,也可以进行数据筛选等。

    设置索引的函数为set_index。

    1

    2

    #设置索引列

    df_inner.set_index('id')

    df_inner_set_index.png

    排序(按索引,按数值)

    Excel中可以通过数据目录下的排序按钮直接对数据表进行排序,比较简单。Python中需要使用ort_values函数和sort_index函数完成排序。

    %E6%8E%92%E5%BA%8F.png

    在python中,既可以按索引对数据表进行排序,也可以看制定列的数值进行排序。首先我们按age列中用户的年龄对数据表进行排序。

    使用的函数为sort_values。

    1

    2

    #按特定列的值排序

    df_inner.sort_values(by=['age'])

    sort_values.png

    Sort_index函数用来将数据表按索引列的值进行排序。

    1

    2

    #按索引列排序

    df_inner.sort_index()

    sort_index.png

    数据分组

    Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组,或者使用“数据透视表”来完成分组。相应的 python中使用where函数完成数据分组。

    Where函数用来对数据进行判断和分组,下面的代码中我们对price列的值进行判断,将符合条件的分为一组,不符合条件的分为另一组,并使用group字段进行标记。

    1

    2

    #如果price列的值>3000,group列显示high,否则显示low

    df_inner['group']= np.where(df_inner['price'] >3000,'high','low')

    where.png

    除了where函数以外,还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。

    1

    2

    #对复合多个条件的数据进行分组标记

    df_inner.loc[(df_inner['city']== 'beijing') & (df_inner['price'] >= 4000),'sign']=1

    sign.png

    数据分列

    与数据分组相反的是对数值进行分列,Excel中的数据目录下提供“分列”功能。在python中使用split函数实现分列。

    %E6%95%B0%E6%8D%AE%E5%88%86%E5%88%97.png

    在数据表中category列中的数据包含有两个信息,前面的数字为类别id,后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分,并将拆分后的数据表匹配回原数据表中。

    1

    2

    #对category字段的值依次进行分列,并创建数据表,索引值为df_inner的索引列,列名称为category和size

    pd.DataFrame((x.split('-')for xin df_inner['category']),index=df_inner.index,columns=['category','size'])

    split.png

    1

    2

    #将完成分列后的数据表与原df_inner数据表进行匹配

    df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)

    merge_1-1024x298.png

    5,数据提取

    第五部分是数据提取,也是数据分析中最常见的一个工作。这部分主要使用三个函数,loc,iloc和ix,loc函数按标签值进行提取,iloc按位置进行提取,ix可以同时按标签和位置进行提取。下面介绍每一种函数的使用方法。

    按标签提取(loc)

    Loc函数按数据表的索引标签进行提取,下面的代码中提取了索引列为3的单条数据。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    #按索引提取单行的数值

    df_inner.loc[3]

    id 1004

    date2013-01-05 00:00:00

    city shenzhen

    category110-C

    age32

    price5433

    gender female

    m-point40

    pay Y

    group high

    sign NaN

    category_1110

    size C

    Name:3, dtype:object

    使用冒号可以限定提取数据的范围,冒号前面为开始的标签值,后面为结束的标签值。下面提取了0到5的数据行。

    1

    2

    #按索引提取区域行数值

    df_inner.loc[0:5]

    df_inner_loc1-1024x171.png

    Reset_index函数用于恢复索引,这里我们重新将date字段的日期设置为数据表的索引,并按日期进行数据提取。

    1

    2

    #重设索引

    df_inner.reset_index()

    reset_index-1024x274.png

    1

    2

    #设置日期为索引

    df_inner=df_inner.set_index('date')

    set_index_date-1024x338.png

    使用冒号限定提取数据的范围,冒号前面为空表示从0开始。提取所有2013年1月4日以前的数据。

    1

    2

    #提取4日之前的所有数据

    df_inner[:'2013-01-04']

    %E6%8C%89%E6%8F%90%E8%B5%B7%E6%8F%90%E5%8F%96-1024x217.png

    按位置提取(iloc)

    使用iloc函数按位置对数据表中的数据进行提取,这里冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始。

    1

    2

    #使用iloc按位置区域提取数据

    df_inner.iloc[:3,:2]

    iloc1.png

    iloc函数除了可以按区域提取数据,还可以按位置逐条提取,前面方括号中的0,2,5表示数据所在行的位置,后面方括号中的数表示所在列的位置。

    1

    2

    #使用iloc按位置单独提取数据

    df_inner.iloc[[0,2,5],[4,5]]

    iloc2.png

    按标签和位置提取(ix)

    ix是loc和iloc的混合,既能按索引标签提取,也能按位置进行数据提取。下面代码中行的位置按索引日期设置,列按位置设置。

    1

    2

    #使用ix按索引标签和位置混合提取数据

    df_inner.ix[:'2013-01-03',:4]

    ix.png

    按条件提取(区域和条件值)

    除了按标签和位置提起数据以外,还可以按具体的条件进行数据。下面使用loc和isin两个函数配合使用,按指定条件对数据进行提取 。

    使用isin函数对city中的值是否为beijing进行判断。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    #判断city列的值是否为beijing

    df_inner['city'].isin(['beijing'])

    date

    2013-01-02 True

    2013-01-05 False

    2013-01-07 True

    2013-01-06 False

    2013-01-03 False

    2013-01-04 False

    Name: city, dtype:bool

    将isin函数嵌套到loc的数据提取函数中,将判断结果为Ture数据提取出来。这里我们把判断条件改为city值是否为beijing和 shanghai。如果是就把这条数据提取出来。

    1

    2

    #先判断city列里是否包含beijing和shanghai,然后将复合条件的数据提取出来。

    df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]

    loc%E6%8C%89%E7%AD%9B%E9%80%89%E6%9D%A1%E4%BB%B6%E6%8F%90%E5%8F%96-1024x266.png

    数值提取还可以完成类似数据分列的工作,从合并的数值中提取出制定的数值。

    1

    2

    3

    4

    5

    6

    7

    8

    category=df_inner['category']

    0 100-A

    3 110-C

    5 130-F

    4 210-A

    1 100-B

    2 110-A

    Name: category, dtype:object

    1

    2

    #提取前三个字符,并生成数据表

    pd.DataFrame(category.str[:3])

    category_str.png

    6,数据筛选

    第六部分为数据筛选,使用与,或,非三个条件配合大于,小于和等于对数据进行筛选,并进行计数和求和。与excel中的筛选功能和countifs和sumifs功能相似。

    按条件筛选(与,或,非)

    Excel数据目录下提供了“筛选”功能,用于对数据表按不同的条件进行筛选。Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现excel中sumif和countif函数的功能。

    %E7%AD%9B%E9%80%89.png

    使用“与”条件进行筛选,条件是年龄大于25岁,并且城市为beijing。筛选后只有一条数据符合要求。

    1

    2

    #使用“与”条件进行筛选

    df_inner.loc[(df_inner['age'] >25) & (df_inner['city']== 'beijing'), ['id','city','age','category','gender']]

    %E4%B8%8E.png

    使用“或”条件进行筛选,年龄大于25岁或城市为beijing。筛选后有6条数据符合要求。

    1

    2

    3

    #使用“或”条件筛选

    df_inner.loc[(df_inner['age'] >25) | (df_inner['city']== 'beijing'), ['id','city','age','category','gender']].sort

    (['age'])

    %E6%88%96.png

    在前面的代码后增加price字段以及sum函数,按筛选后的结果将price字段值进行求和,相当于excel中sumifs的功能。

    1

    2

    3

    4

    5

    #对筛选后的数据按price字段进行求和

    df_inner.loc[(df_inner['age'] >25) | (df_inner['city']== 'beijing'),

    ['id','city','age','category','gender','price']].sort(['age']).price.sum()

    19796

    使用“非”条件进行筛选,城市不等于beijing。符合条件的数据有4条。将筛选结果按id列进行排序。

    1

    2

    #使用“非”条件进行筛选

    df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])

    %E9%9D%9E.png

    在前面的代码后面增加city列,并使用count函数进行计数。相当于excel中的countifs函数的功能。

    1

    2

    3

    #对筛选后的数据按city列进行计数

    df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count()

    4

    还有一种筛选的方式是用query函数。下面是具体的代码和筛选结果。

    1

    2

    #使用query函数进行筛选

    df_inner.query('city == ["beijing", "shanghai"]')

    query-1024x263.png

    在前面的代码后增加price字段和sum函数。对筛选后的price字段进行求和,相当于excel中的sumifs函数的功能。

    1

    2

    3

    #对筛选后的结果按price进行求和

    df_inner.query('city == ["beijing", "shanghai"]').price.sum()

    12230

    这是第三篇,介绍第7-9部分的内容,数据汇总,数据统计,和数据输出。

    7-9%E7%9B%AE%E5%BD%95.png

    7,数据汇总

    第七部分是对数据进行分类汇总,Excel中使用分类汇总和数据透视可以按特定维度对数据进行汇总,python中使用的主要函数是groupby和pivot_table。下面分别介绍这两个函数的使用方法。

    分类汇总

    Excel的数据目录下提供了“分类汇总”功能,可以按指定的字段和汇总方式对数据表进行汇总。Python中通过Groupby函数完成相应的操作,并可以支持多级分类汇总。

    %E5%88%86%E7%B1%BB%E6%B1%87%E6%80%BB1.png

    Groupby是进行分类汇总的函数,使用方法很简单,制定要分组的列名称就可以,也可以同时制定多个列名称,groupby按列名称出现的顺序进行分组。同时要制定分组后的汇总方式,常见的是计数和求和两种。

    1

    2

    #对所有列进行计数汇总

    df_inner.groupby('city').count()

    groupby.png

    可以在groupby中设置列名称来对特定的列进行汇总。下面的代码中按城市对id字段进行汇总计数。

    1

    2

    3

    4

    5

    6

    7

    8

    #对特定的ID列进行计数汇总

    df_inner.groupby('city')['id'].count()

    city

    beijing2

    guangzhou1

    shanghai2

    shenzhen1

    Name:id, dtype: int64

    在前面的基础上增加第二个列名称,分布对city和size两个字段进行计数汇总。

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    #对两个字段进行汇总计数

    df_inner.groupby(['city','size'])['id'].count()

    city size

    beijing A1

    F1

    guangzhou A1

    shanghai A1

    B1

    shenzhen C1

    Name:id, dtype: int64

    除了计数和求和外,还可以对汇总后的数据同时按多个维度进行计算,下面的代码中按城市对price字段进行汇总,并分别计算price的数量,总金额和平均金额。

    1

    2

    #对city字段进行汇总并计算price的合计和均值。

    df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])

    groupby1.png

    数据透视

    Excel中的插入目录下提供“数据透视表”功能对数据表按特定维度进行汇总。Python中也提供了数据透视表功能。通过pivot_table函数实现同样的效果。

    %E6%95%B0%E6%8D%AE%E9%80%8F%E8%A7%86.png

    数据透视表也是常用的一种数据分类汇总方式,并且功能上比groupby要强大一些。下面的代码中设定city为行字段,size为列字段,price为值字段。分别计算price的数量和金额并且按行与列进行汇总。

    1

    2

    #数据透视表

    pd.pivot_table(df_inner,index=["city"],values=["price"],columns=["size"],aggfunc=[len,np.sum],fill_value=0,margins=True)

    pivot_table.png

    8,数据统计

    第九部分为数据统计,这里主要介绍数据采样,标准差,协方差和相关系数的使用方法。

    数据采样

    Excel的数据分析功能中提供了数据抽样的功能,如下图所示。Python通过sample函数完成数据采样。

    %E6%95%B0%E6%8D%AE%E6%8A%BD%E6%A0%B7.png

    Sample是进行数据采样的函数,设置n的数量就可以了。函数自动返回参与的结果。

    1

    2

    #简单的数据采样

    df_inner.sample(n=3)

    %E7%AE%80%E5%8D%95%E9%9A%8F%E6%9C%BA%E9%87%87%E6%A0%B7-1024x218.png

    Weights参数是采样的权重,通过设置不同的权重可以更改采样的结果,权重高的数据将更有希望被选中。这里手动设置6条数据的权重值。将前面4个设置为0,后面两个分别设置为0.5。

    1

    2

    3

    #手动设置采样权重

    weights= [0,0,0,0,0.5,0.5]

    df_inner.sample(n=2, weights=weights)

    %E6%89%8B%E5%8A%A8%E8%AE%BE%E7%BD%AE%E9%87%87%E6%A0%B7%E6%9D%83%E9%87%8D1-1024x341.png

    从采样结果中可以看出,后两条权重高的数据被选中。

    %E6%89%8B%E5%8A%A8%E8%AE%BE%E7%BD%AE%E9%87%87%E6%A0%B7%E6%9D%83%E9%87%8D2-1024x176.png

    Sample函数中还有一个参数replace,用来设置采样后是否放回。

    1

    2

    #采样后不放回

    df_inner.sample(n=6, replace=False)

    %E9%87%87%E6%A0%B7%E5%90%8E%E4%B8%8D%E6%94%BE%E5%9B%9E-1024x343.png

    1

    2

    #采样后放回

    df_inner.sample(n=6, replace=True)

    %E9%87%87%E6%A0%B7%E5%90%8E%E6%94%BE%E5%9B%9E-1024x348.png

    描述统计

    Excel中的数据分析中提供了描述统计的功能。Python中可以通过Describe对数据进行描述统计。

    %E6%8F%8F%E8%BF%B0%E7%BB%9F%E8%AE%A1.png

    Describe函数是进行描述统计的函数,自动生成数据的数量,均值,标准差等数据。下面的代码中对数据表进行描述统计,并使用round函数设置结果显示的小数位。并对结果数据进行转置。

    1

    2

    #数据表描述性统计

    df_inner.describe().round(2).T

    describe.png

    标准差

    Python中的Std函数用来接算特定数据列的标准差。

    1

    2

    3

    #标准差

    df_inner['price'].std()

    1523.3516556155596

    协方差

    Excel中的数据分析功能中提供协方差的计算,python中通过cov函数计算两个字段或数据表中各字段间的协方差。

    %E5%8D%8F%E6%96%B9%E5%B7%AE.png

    Cov函数用来计算两个字段间的协方差,可以只对特定字段进行计算,也可以对整个数据表中各个列之间进行计算。

    1

    2

    3

    #两个字段间的协方差

    df_inner['price'].cov(df_inner['m-point'])

    17263.200000000001

    1

    2

    #数据表中所有字段间的协方差

    df_inner.cov()

    cov.png

    相关分析

    Excel的数据分析功能中提供了相关系数的计算功能,python中则通过corr函数完成相关分析的操作,并返回相关系数。

    %E7%9B%B8%E5%85%B3%E7%B3%BB%E6%95%B0.png

    Corr函数用来计算数据间的相关系数,可以单独对特定数据进行计算,也可以对整个数据表中各个列进行计算。相关系数在-1到1之间,接近1为正相关,接近-1为负相关,0为不相关。

    1

    2

    3

    #相关性分析

    df_inner['price'].corr(df_inner['m-point'])

    0.77466555617085264

    1

    2

    #数据表相关性分析

    df_inner.corr()

    corr.png

    9,数据输出

    第九部分是数据输出,处理和分析完的数据可以输出为xlsx格式和csv格式。

    写入excel

    1

    2

    #输出到excel格式

    df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc')

    excel-1024x156.png

    写入csv

    1

    2

    #输出到CSV格式

    df_inner.to_csv('excel_to_python.csv')

    在数据处理的过程中,大部分基础工作是重复和机械的,对于这部分基础工作,我们可以使用自定义函数进行自动化。以下简单介绍对数据表信息获取自动化处理。

    1

    2

    3

    4

    5

    6

    7

    8

    #创建数据表

    df= pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],

    "date":pd.date_range('20130102', periods=6),

    "city":['Beijing ','SH',' guangzhou ','Shenzhen','shanghai','BEIJING '],

    "age":[23,44,54,32,34,32],

    "category":['100-A','100-B','110-A','110-C','210-A','130-F'],

    "price":[1200,np.nan,2133,5433,np.nan,4432]},

    columns=['id','date','city','category','age','price'])

    1

    2

    3

    4

    5

    6

    7

    8

    #创建自定义函数

    def table_info(x):

    shape=x.shape

    types=x.dtypes

    colums=x.columns

    print("数据维度(行,列): ",shape)

    print("数据格式: ",types)

    print("列名称: ",colums)

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    #调用自定义函数获取df数据表信息并输出结果

    table_info(df)

    数据维度(行,列):

    (6,6)

    数据格式:

    id int64

    date datetime64[ns]

    cityobject

    categoryobject

    age int64

    price float64

    dtype:object

    列名称:

    Index(['id','date','city','category','age','price'], dtype='object')

    转载来源于:

    http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-1.html

    http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-2.html

    http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-3.html

    展开全文
  • python轻松操作excel表格 项目场景: 提示:通常我们对excel表格进行删除多个项的时候,如果一条一条的删除就会花费很多时间,并且也不知道要删除的部分是否删除完,进行查询,分类的时候用python语言几条语句就能...

    用python操作excel表格,进行数据分析

    项目场景:

    提示:通常我们对excel表格进行删除多个项的时候,如果一条一条的删除就会花费很多时间,并且也不知道要删除的部分是否删除完,进行查询,分类的时候用python语言几条语句就能简单的完成要求。
    例如:从一个有很多条学生信息的excel表中按要求进行操作
    excel表格的列项


    代码展示:

    首先在软件中导入excel表格,即用python打开csv文件

    from pandas import Series,DataFrame
    import pandas as pd
    import numpy as np
    import csv
    import codecs
    
    data_csv = pd.read_csv("d:/shiyan.csv",encoding = "gbk")
    
    data_csv  #就能在python软件中打印出要查找的信息
    

    将数据以文件形式导出保存

    data_csv.to_csv('d:/1.csv')  #以csv形式存储
    data_csv = data_csv.to_excel("d:/1.xls")   #以excel表形式存储
    

    删除后两列所有信息

    data_csv = data_csv.drop(['任选课类别_显示值','考试类型_显示值'],axis=1)  
    

    针对表中的字要修改的进行统一修改

    data_csv=data_csv.replace(['合格','良好'],[60,80])#军训分数栏的文字修改为分数合格对应60分,良好对应80分
    

    特定要求筛选

    data0_csv = data_csv[data_csv['学号']>20120000]  #筛选出学号大于2012000的学生信息  
    
    data0_csv = data_csv[data_csv['院系_显示值'] == '文学与新闻传播学院']   #从所以的信息总分离出文传学院的数据
    
    TeamID1 = data_csv[data_csv['TeamID'] == 1]  #显示出第一学期的数据
    

    分组

    #group用来分组
    group = TeamID1['成绩'].groupby(TeamID1['学号']) #以每个学号进行分组,并保留下每个学号的每个课成绩
    #agg用来聚合
    a = group.agg(['sum']+['mean']+['max']+['min']+['count'])
    

    用python函数对成绩进行分析,count=9表明有9门学科
    在这里插入图片描述

    a.columns=['总分','每学期该专业平均分','每学期该专业最高分','每学期该专业最低分','每学期该专业考试门数']
    

    在这里插入图片描述

    分别用迭代递归缓存求斐波拉契数列

    在这里插入图片描述

    from tkinter import *                
    import easygui 
    import time
    master = Tk()
    frame = Frame(master)  # 确定一个框架用于美观 
    frame.pack(padx = 20,pady = 20)
    
    v1 = StringVar() # 分别用于储存需要计算的数据和 结果
    v2 = StringVar()
    v3 = StringVar()
    v4 = StringVar()
    v5 = StringVar()
    v6 = StringVar()
    
    def test(content):
         return content.isdigit()  # 检查是不是数字 .
    testCMD = frame.register(test)  # 将函数 进行包装 . 
    Label(frame,text='迭代算法:',padx=10).grid(row=0,column=0)
        
     # %p 是输入框的最新内容 . 当输入框允许改变的时候该值有效 ,
    Label(frame,text='输入项数:',padx=10).grid(row=0,column=2)
    e2 = Entry(frame,width=10,textvariable=v1,validate='key',\
              validatecommand=(test,'%p')).grid(row=0,column=3)
    
    Label(frame,text='结果',padx=10).grid(row=0,column=4)
    e3 = Entry(frame,width=15,textvariable=v2,state='readonly').grid(row=0,column=5)
    
    Label(frame,text='花费时间:',padx=10).grid(row=0,column=6)
    e4 = Entry(frame,width=15,textvariable=v3,state='readonly').grid(row=0,column=7)
    
    Label(frame,text='递归算法:',padx=10).grid(row=1,column=0)
        
     # %p 是输入框的最新内容 . 当输入框允许改变的时候该值有效 ,
    Label(frame,text='输入项数:',padx=10).grid(row=1,column=2)
    e5 = Entry(frame,width=10,textvariable=v4,validate='key',\
              validatecommand=(test,'%p')).grid(row=1,column=3)
    
    Label(frame,text='结果',padx=10).grid(row=1,column=4)
    e6 = Entry(frame,width=15,textvariable=v5,state='readonly').grid(row=1,column=5)
    
    Label(frame,text='花费时间:',padx=10).grid(row=1,column=6)
    e7 = Entry(frame,width=15,textvariable=v6,state='readonly').grid(row=1,column=7)
    
    
    def calc():
        if v1.get()=='':
            easygui.msgbox('请先输入内容 !')
            return 
        result1 = fibonacci3(12)
        v2.set(result1)
        result2 = Time3()
        v3.set(result2)
        
    
        
    def calc():
        if v4.get()=='':
            easygui.msgbox('请先输入内容 !')
            return 
        result1 = fibonacci1()
        v5.set(result1)
        result2 = Time3()
        v6.set(result2)
        
        
    """def test():
        if e1.get() == 'f1':
            print("正确") 
            fibonacci3(10)
            #
            return True
        else:
            fibonacci3(5)
            print('错误')
            e1.delete(0,END)
            return False   """
    #递归
    def fibonacci1(n):
        # base case
        if n==0 or n==1:
            return 1
        # recurssive case
        else:
            return fibonacci1(n-1) + fibonacci1(n-2)
    #print ([fibonacci1(i) for i in range(32)])
        
    
    def Time3():
        start_CPU = time.clock()
        fibonacci3(32)
        end_CPU = time.clock()
        return end_CPU - start_CPU
    
    def fibonacci3(n):
        a, b = 0, 1
        for i in range(1, n+1):
            a, b = b, a+b
        return b
    #print ([fibonacci3(i) for i in range(32)])
    
    Button(frame,text='结果1',command=calc).grid(row=4,column=3,pady=15)
    Button(frame,text='结果2',command=calc).grid(row=4,column=4,pady=15)
    
    mainloop()
    

    斐波拉契数列:

    def calc1():
        if v1.get()=='':
            easygui.msgbox('请先输入内容 !')
            return 
        result1 = fibonacci1(v1.get())
        v2.set(result1)
        result2 = Time1()
        v3.set(result2)
    
    def fibonacci1(n):
        a, b = 0, 1
        for i in range(1, n+1):
            a, b = b, a+b
        return b
    
    #迭代    
    def Time1(n):
        start_CPU = time.clock()
        fibonacci1(n)
        end_CPU = time.clock()
        return end_CPU - start_CPU
    

    知识扩充:

    CSV:

    csv是最通用的一种文件格式,它可以非常容易地被导入各种PC表格及数据库中。此文件,一行即为数据表的一行。生成数据表字段用半角逗号隔开。csv文件用记事本和excel都能打开,用记事本打开显示逗号,用excel打开,没有逗号了,逗号都用来分列了,还可有Editplus打开。

    python常用的科学计算库:

    Numpy:
    Pandas
    Scipy


    展开全文
  • 点上方人工智能算法与Python大数据获取更多干货在右上方···设为星标★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于 :量子位加载一个Jupyter插件后,无需写代码就...

    点上方人工智能算法与Python大数据获取更多干货

    在右上方 ··· 设为星标 ★,第一时间获取资源

    仅做学术分享,如有侵权,联系删除

    转载于 :量子位

    加载一个Jupyter插件后,无需写代码就能做数据分析,还帮你生成相应代码

    没错,只需要加载这个名为Mito的小工具包,用Python做数据分析,变得和用Excel一样简单:

    运行速度比Excel更快,也不需要到处搜各种Python教程了。

    好用如Excel,更快更全面

    Mito是Jupyter notebook的一个可编辑电子表格插件,在编辑.csv表格(带格式转换功能)时,就能生成相关Python代码。

    Mito,线粒体Mitochondria的缩写

    具体来说,Mito的出现,像是将Python的强大功能、和Excel的易用性进行了结合。

    只需要掌握Excel的用法,就能使用Python的数据分析功能,还能将写出来的代码“打包带走”。

    它弥补了Excel在数据分析上的几个缺陷

    • Excel无法做大数据分析(大型数据集处理得不好)

    • Excel运行缓慢

    • Excel无法轻松创建可重复流程

    同时,又比SQL和Python更简单、直观。毕竟这些专业工具对于0基础初学者来说,需要至少几年时间,才能完全上手。

    据Mito内测用户表示,这款插件让他们用Python做数据分析的效率提升了10倍,因为用户可以直接在Mito里编写Excel公式,如=SUM(A1, 100)。

    那么,Mito是怎么做到将Excel逻辑转换成Python代码的呢?

    作者们编写了一种名为Transpiler的程序,有点类似于编译器的功能,采用抽象语法树(AST),解析Excel源代码,并转换成Python的源代码。

    相比于采用专业软件如Alteryx(需要5000美元/月)进行数据分析,Mito所生成的Python代码可以根据需要自行修改,灵活性更高一点。

    目前,Mito采用亚马逊云平台 (AWS)保存用户的相关数据,每个用户拥有一个独立账户。

    当然,用户也可以选择将数据保存在本地。

    自动生成Python代码

    以分析美国各州的“家庭平均收入”和“允许托运的火车站数量”这两个数据的关系为例。

    首先,上传“家庭平均收入”和“允许托运的火车站数量”两份数据。

    数据处理的格式是.csv,当然也可以输入Excel文件,并用Mito转成两份.csv文件。

    然后,将这两份数据集合并在一起,只需要用鼠标勾选对应功能、选中相关数据列就行。

    啪!代码就生成好了。

    然后,是做数据透视表,在完成分组后,采用聚合(aggregate)功能来切换聚合方法。

    还包括数据过滤功能,同样立刻就能生成相关代码。

    包含升降序排序功能,快速简洁。

    然后就是相关数据统计、分析出结果了,流程直观。

    保存分析文件的方法也很简单,文件是以Python编写的,而不是用比较难懂的VBA。

    要想重复上面的步骤的话,也非常容易,Mito自带“重复已保存分析步骤”功能,一键就能用同样的方法分析其他数据。

    确实要比一行行编写代码简单多了。

    关于Mito

    那么,Mito的作者们,为什么要搞这个软件?

    因为他们发现,所谓的“几天上手Python数据分析”,其实根本没有那么容易……

    初学者要想用Python搞数据分析,就得不停地查看各种文档、和求助于StackOverflow。

    要想真正快速用Python分析数据,最后还得自己编写软件。

    三位作者Aaron Diamond-Reivich、Jake Diamond-Reivich和Nate Rush都来自宾大,在学校期间,他们学习了计算机科学、统计学和商业分析相关的课程。

    也正是在搞数据分析的时候,他们萌生了想要制作Mito的想法。

    作者表示,软件目前还没有开源,因为他们还在思考,如何支持维护这个项目,并转到开源路径上来。

    不过,它现在已经可以使用了。

    感兴趣的小伙伴们,可以上手试试了~

    项目主页:
    https://trymito.io/launch

    ---------♥---------

    声明:本内容来源网络,版权属于原作者

    图片来源网络,不代表本公众号立场。如有侵权,联系删除

    AI博士私人微信,还有少量空位

    如何画出漂亮的深度学习模型图?

    如何画出漂亮的神经网络图?

    一文读懂深度学习中的各种卷积

    点个在看支持一下吧

    展开全文
  • Python进行Excel数据统计

    千次阅读 2020-04-29 21:04:47
    Python进行Excel数据统计 前言 示例数据 前期思路 实操 遇到的问题和解决方案 最终结果 实现代码 总结 前言 貌似大家中使用到Excel数据统计和处理比较多。前两天BF发来指示,帮忙统计2019年的全年(1-12月)、全体...

    前言

    貌似大家中使用到Excel数据统计和处理比较多。前两天GF发来指示,帮忙统计2019年的全年(1-12月)、全体员工(每月可能有新入职员工)的养老保险、医疗保险、失业保险、工伤和生育共五项中的公司缴纳部分。需要进行全年累加,最后放到区域公司发来的汇总表中。貌似不难,但也需要理一理思路。

    示例数据

    示例的原始数据如下所示(12张表格)。
    在这里插入图片描述==
    需填的表格如下
    在这里插入图片描述

    前期思路

    (1)python Excel的读写操作
    (2)全体员工的数据提取统计操作,此处适合使用字典类型(字典为可变数据类型)。字典的key为员工的名字,对应的value为一个含有5个元素的列表(后续需要累加更改)
    (3)python写Excel的时候,需要进行人员的判断匹配,因为最终的汇总表人员众多

    实操

    遇到的问题和解决方案

    (1)如何提取数据? 原始数据中,公司含有不通的部门,每个部门又有相应的汇总栏目,影响数据提取。通过观察,A列数据的序号,只在对应员工栏目有数值的序号标识,而汇总栏目为空值。因此可以通过判断A列是否是数值来提取员工信息。
    (2)存在None值。 对应的员工信息中,存在空值,例如吴三的医疗保险部分。为不影响后续的累加运算,需要进行数据的处理,把空值转换为数字0。
    (3)数据提取。 由于GF的示例数据表格中养老保险、医疗保险、失业保险、工伤和生育是使用公式计算的,字典的键值对的值(value)提取的结果为元素为 '=ROUND(D4*19%,2)'的字符串列表,无法进行数值的累加操作。
    (a)解决方案A。同样提取对应列的数据,从而计算出对应的保险的数据,由于计算结果为浮点数,最终的12个月累加结果存在小尾数问题,并且结果与手动结果不匹配,失败告终。
    (b)解决方案B。先对Excel表格进行处理,清除掉所有的公式,只保留数据。使用的方法为Excel的VBA编程,具体参考文献[1] [2].
    (4)列表对应项相加。 提取的结果每个sheet提取出一个字典。由于字典的值(value)为列表,操作时需要对value列表累加求和。python中列表的加法(+)为拼接操作,不像MATLAB中的矩阵操作。此时需要可以使用Numpy库进行数组操作,或者使用循环进行对应项相加。在此本文使用循环。

    最终结果

    (1)测试输出
    张一: [20900, 840, 8400, 65, 600]
    (2)写表格数据
    在这里插入图片描述

    实现代码

    #By WDL 2020-4-27
    import openpyxl
    
    #单元格数据判断函数,剔除空单元格中读取的空值
    def valuechange(sth): #判断是否为None
        if sth==None:
            sth=0
        return sth
    
    #Excel表格读取函数
    def excelread(wb,sheetname):#wb工作簿 sheetname表格名称
        ws=wb[sheetname] #打一个工作表
        # 读取数据,把excel中的一个sheet按行读取出来,存入一个二维的list
        total_list=[]
        for row in ws.rows:
            row_list=[]
            for cell in row:
                row_list.append(cell.value)
            total_list.append(row_list)
        # 返回读取的数据列表,每个元素为sheet中的一行
        return total_list
    
    #表格数据处理函数,数据提取
    def procSheet(wb,sheetname): #wb工作簿 sheetname表格名称
        total_list=excelread(wb,sheetname)
        #利用字典存数据
        infos={}
        for term in total_list:
            if isinstance(term[0],int): #判断标号是否是数值
                # 使用sheet中列的标号 判断元组中每个单元格的索引
                # term[2]对应姓名
                #term[4] 养老,term[8] 失业,term[12] 医疗,term[16] 工伤,term[17] #生育
                infos.setdefault(term[2], []).extend([valuechange(term[4]),valuechange(term[8]),\
                                                      valuechange(term[12]),valuechange(term[16]),valuechange(term[17])])
                #以上为 一键 对列表的字典,如果键term[2]不存在,添加键值对,只默认为空列表[] 随后使用extend()方法扩展列表
        return infos
    
    #----------------数据提取操作-------------
    wb=openpyxl.load_workbook("XXX公司应缴社会保险明细表(2019.1-12).xlsx")
    data=procSheet(wb,"2019.1") #初始值
    print(data)
    sheetnames=["2019.{}".format(str(i)) for i in range(2,13)]
    for sheetname in sheetnames:
        infos=procSheet(wb,sheetname)
        for name in infos:
            #列表对应项累加
            if name in data:
                for i in range(len(data[name])):
                    data[name][i]+=infos[name][i]
            else:
                data[name]=infos[name]
    print(data) #最终的统计数据
    print("张一:",data["张一"])
    worker=set(data)
    print(worker) #统计XXX公司的所有员工
    
    #------------Excel写操作--------------
    #打开要写数据的工作表
    workbook=openpyxl.load_workbook("XXX区域2019年度年薪人员人工成本统计表.xlsx")
    worksheet=workbook["附表二、2019年度人工成本汇总"]
    
    #对每个单元格进行格式设置 总共385行
    for eachCommonRow in worksheet.iter_rows(min_row=1,min_col=1,max_row=400,max_col=47):# 每一行为元组类型
        #使用sheet中列的标号 判断元组中每个单元格的索引
        if eachCommonRow[8].value in data:#姓名是否在字典中 第I列对应索引9-1=8
            eachCommonRow[37].value = data[eachCommonRow[8].value][0] #养老保险
            eachCommonRow[38].value = data[eachCommonRow[8].value][2] #医疗保险
            eachCommonRow[39].value = data[eachCommonRow[8].value][1]  # 失业保险
            eachCommonRow[40].value = data[eachCommonRow[8].value][3]  # 工伤保险
            eachCommonRow[41].value = data[eachCommonRow[8].value][4]  # 生育保险
    #保存
    workbook.save("XXX区域2019年度年薪人员人工成本统计表.xlsx")
    
    

    总结

    在实践中不断的修改完善,善用搜索能力,不断总结提高,减小工作量。最后希望对大家有帮助。

    参考文献
    [1]两种excel 去掉公式保留数值的方法. http://www.ittribalwo.com/article/1369.html
    [2]excel表格问题 怎么清除公式保留数据?https://www.zhihu.com/question/21638771

    展开全文
  • 个人的总结 有明确的目标 将大目标分解成最小颗粒的小目标 针对小目标,一个个去解决 ...**目标:**有一份市面上主流机型使用某APP的兼容性测试报告,包括了详细的手机信息,...打开excel测试报告 访问“日志...
  • 主要介绍了Python读取Excel数据并生成图表过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
  • 使用python进行常规统计数据分析、并进行可视化处理。
  • Python数据分析之批量统计excel文件

    万次阅读 多人点赞 2020-10-16 09:13:15
    其中xlrd是read_excel需要的。 import zipfile import os import pandas as pd import os import xlrd import json import pygeoip 2. 批量解压zip文件   由于给定的文件夹中文件鱼龙混杂,还有文件名中包括空格...
  • 有的时候我们把数据整理收集整理到excel中,那么要把excel中的某列文本数据制作词云图怎么做呢? 从最简单的说起。 最简单的词云图就是这种,英文的,不读取文件,不指定背景形状图片,不指定字体。 #复制文本用字符...
  • 采用python批量统计分析Excel表格数据

    万次阅读 2014-04-21 10:27:32
    最近为了做点小事情,需要对12个Excel文件进行处理,每个Excel文件的数据量都非常庞大,所处理的数据是全国196个站点2000年至2011年每天的降水数据,需要根据这些数据
  • Python Pandas 做数据分析之玩转 Excel 报表分析

    千次阅读 多人点赞 2019-08-16 15:53:02
    各位朋友大家好,非常荣幸和大家聊一聊用 Python Pandas 处理 Excel 数据的话题。因为工作中一直在用 Pandas,所以积累了一些小技巧,在此借 GitChat 平台和大家分享一下心得。 在开始之前我推荐大家下载使用 ...
  • 本文实例讲述了Python实现对excel文件列表值进行统计的方法。分享给大家供大家参考。具体如下: #!/usr/bin/env python #coding=gbk #此PY用来统计一个execl文件中的特定一列的值的分类 import win32com.client ...
  • 利用Python取出excel数据并生成统计

    千次阅读 2019-09-14 22:07:30
    取出excel数据生成图表 ...Python中用来读取excel数据的模块 安装pip install xlrd xlrd文档 pyecharts Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。 ...
  • Python获取excel数据并绘制直方图

    千次阅读 2020-02-11 11:32:05
    Python刚入门,欢迎大家多多交流~ 最近做个小项目,获取医疗数据文件Raw Data MAKO v2.xlsx中的一个名为PHIN-22E_KR的sheet ,获取其指定几列的数据并绘制直方图。excel文件如下 import xlrd import numpy as np ...
  • sheets[0] ws2 = airport_df["Sheet2"]#读取excel中第二张表 movement=[] name_mov=[] for i in range(1,ws2.max_column+1): for j in range(2,ws2.max_row+1): cellr=ws2.cell(j,i) movement.append(cellr.value) ...
  • Python 虽然是一门编程语言,但是它并不难学,不仅不难学,而且很容易上手,这也是...不是哦,今天是来告诉你Python数据分析的重要性,同时推荐一本好书给你们,《对比Excel,轻松学习Python数据分析》,此书已经加...
  • ws2 = airport_df["Sheet2"]#读取excel中第二张表 movement=[] name_mov=[] for i in range(1,ws2.max_column+1): for j in range(2,ws2.max_row+1): cellr=ws2.cell(j,i) movement.append(cellr.value) ln_...
  • 本文实例讲述了python实现的分析统计nginx日志数据功能。分享给大家供大家参考,具体如下: 利用python脚本分析nginx日志内容,默认统计ip、访问url、状态,可以通过修改脚本统计分析其他字段。 一、脚本运行方式 ...
  • Python做可视化数据分析也是可以的,只是对比起来专业的可视化工具有些得不应手,做出来的图可能不太美观。Python用来处理数据,用来分析绝对可以。我觉得想要可视化可以使用专门的可视化工具。不过,如果必须使用...
  • ExcelPython,作为数据分析的主流工具,在从效率提升到数据商业化的整个过程中,都起到了重要作用。不管是在Excel中通过鼠标点选实现,亦或是利用Python通过代码实现,数据分析中的很多基础功能都是相通的。在数据...
  • python统计excel 表中某一列文本的词频 代码如下 # jieba库的使用以及csv库的使用 import jieba import csv txt = open("complaint.csv", 'rt', encoding='utf-8').read() # 读取所需要分析的文件内容 Excel = open...
  • 他们可能并不是想要学习 Python 去爬取一些网站从而获得酷酷的成就感,而是工作中遇到好多数据分析处理的问题,用 Python 就可以简单高效地解决。本文就通过一个实际的例子来给大家展示一下 Python 是如何应用于实际...
  • Excel数据分析中最常用的工具,本书通过PythonExcel的功能对比介绍如何使用Python通过函数式编程完成Excel中的数据处理及分析工作。在Python中pandas库用于数据处理,我们从1787页的pandas官网文档中总结出最...
  • 这也是本书的一大特色,让读者可以像学Excel数据分析一样,轻松学习Python数据分析。 内容简介 集Python、Excel、数据分析为一体是本书的一大特色,本书围绕整个数据分析的常规流程:熟悉工具—明确目的—获取数据...
  • Python读取Excel表并分析

    千次阅读 2019-06-19 16:54:25
    最近闲来无事,就学习了一下Python数据分析,刚好学院发了一张学生的基本情况表,没事做就分析了一下。 废话不多说,就开始写代码。 首先读取Excel,犯了不少错,因为这个表有一个表头,所以在读取的时候去除掉表头...
  • PythonEXCEL中关键字相同的记录进行统计,并对前若干数据进行柱状图展示 import csv import matplotlib.pyplot as plt import numpy as np import pandas import os source=“D:/乔雪梅/钢构用户行为分析” file_...
  • 使用Python处理Excel数据并生成词云

    千次阅读 2020-12-17 14:09:31
    使用Python处理Excel数据并生成词云 一、目的 二、步骤 三、代码以及结果 一、目的 从Excel文件中找出喜欢的岗位类别,将其对应的岗位描述进行分析处理,并做出词云图。 work_all.xlsx 二、步骤 1.处理数据 找出自己...
  • Python读取Excel表格,并同时画折线图和柱状图

    万次阅读 多人点赞 2018-06-08 13:48:05
    今日给大家分享一个Python读取Excel表格,同时采用表格中的数值画图柱状图和折线图,这里只需要几行代码便可以实。首先我们需要安装一个Excel操作的库xlrd,这个很简单,在安装Python后直接在DOS命令下输入pip ...
  • 1.5 实验项目5 使用Python统计分析社交网络数据 14 1.6 实验项目6 使用Python大批量获取网络图片数据 17 1.7 实验项目7 使用Python处理图片尺寸和角度 19 1.8 实验项目8 使用Python处理图片亮度、对比度和饱和度 21

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 17,788
精华内容 7,115
关键字:

python统计excel数据分析

python 订阅