关于数据处理案例有两个，第一个案例是我整理到有道云上的，就直接剪切下来了，下面直接进入正题~

案例1：快餐数据

案例2：欧洲杯数据

先进行数据探索 

data.info()


data.describe()

查看数据集是否有缺失值且哪个字段存在缺失值？可以用下面的代码，也可以用前面案例1缺失值那里提到的前两种方法

for i in range(data.shape[1]):
    if data.iloc[:,i].notnull().sum() != data.shape[0]:
         print('第%d列：字段%s 存在缺失值'%(i+1,data.columns[i]))

代码运行结果是

对Clearances off line进行缺失值处理

首先查看Clearances off line字段

统计其数字组成

data['Clearances off line'].value_counts()

从统计结果可以看到，在Clearances off line这个字段中有11个值为0，3个值为1,1个值为2，故考虑采用众数(mode)填充缺失值

mode=data['Clearances off line'].mode()
data['Clearances off line']=data['Clearances off line'].fillna(mode)

描述性统计

统计有多少球队参加了欧洲杯？

data.Team.count()

将数据集中的列Team, Yellow Cards和Red Cards单独存为一个名叫discipline的数据框

discipline=data[['Team','Yellow Cards','Red Cards']]

按照先Red Cards再Yellow Cards进行降序排序

discipline.sort_values(by=['Red Cards','Yellow Cards'])

计算每个球队拿到黄牌的平均值

data['Yellow Cards'].mean()

找出进球数大于6个的球队的数据

data[data['Goals']>6]

对比英格兰(England)、意大利(Italy)和俄罗斯(Russia)的射正率(Shooting Accuracy)

data['Shooting Accuracy'].[data.Team.isin(['England','ltaly','Russia'])]

一、查找重复值

既然我们这个系列是对比Excel，那么在Excel里是怎么查找重复值的呢？有很多种方法，这里就简单说一种：条件格式。在【开始】——【条件格式】里选择突出显示重复值，就将重复的值突出显示出来了：

Pandas里如何查找重复值呢？

1、查找所有列

duplicated方法查找重复值，和isnull一样，得到的结果是布尔值，如果重复被标记为True，否则为False

# 查看所有列都重复的数据
df_list.duplicated()

结果如下，得到的是一个序列，通过True/False来查看哪些行完全重复。

也可以把它具体的位置找出来：

# 定位出所有列都重复的行
df_list[df_list.duplicated()]

结果是一个空行，说明这个数据集里没有所有列都重复的行

2、查找单独列

对重复值的判断有时不需要判断所有列，只需要对某一列进行判断，还是用duplicated方法查找，如查找id列是否重复

# 查找id列是否重复
df_list[df_list.duplicated(["id"])]

结果为空，说明id列是唯一标识。

转存失败重新上传取消

二、重复值的处理

对重复值的处理，就是删除

在Excel里专门有一个删除重复值的功能，用这个功能就可以将某一列的重复值删除，只保留不重复的值：

在Panda里用到drop_duplicates方法来删除重复值。

1、所有列去重

对所有列都重复的行去重

# 所有列去重
df_list = df_list.drop_duplicates()
df_list.head()

2、某一列去重

对某一列重复的行去重，添加subset参数

# 某一列去重
df_list.drop_duplicates(subset = "id")

3、某几列去重

对要去重的几列的列名用列表框起来，subset参数名可以不写

# 某几列去重
df_list.drop_duplicates(["id","name"])

4、去重后保留最后一个值

以上去重时默认都是保留第一个重复的值，但如果想要保留最后一个重复的值呢，添加keep参数，让keep = "last"

# 保留最后一个值
df_list.drop_duplicates(["id","name"],keep = "last")

5、查找后定位的方法去重

前面介绍了查找重复值用到的duplicated方法，那么也可以用这个方法直接去重。df_list[df_list.duplicated(["id","name"])]是定位出重复值，加个取反的符号df_list[~df_list.duplicated(["id","name"])]就将不重复的值取出来了，也就是去重了。

# 查找后定位去重
df_list[~df_list.duplicated(["id","name"])]

三、类型转换

这个案例里last_review字段应该是日期时间的类型，但在这里是字符型展示，因此要把字符型转换成日期时间类型的数据，使用to_datetime方法，它有两个参数，第一个参数是要转换的列，第二个参数是设置日期时间格式。

# 字符转时间
df_list["last_review"] = pd.to_datetime(df_list["last_review"],
                                 format = "%Y/%m/%d")
df_list.info()

结果如下，可以看到这一列已经由原先的字符型转化为了时间型。

类型转换还可以将字符转数值，数值转字符，用到astype(dtype)方法，dtype参数表示要转换的数据类型，整型为int，小数型位float，字符型为str

# 数值转字符
df_list["id"].astype(str).dtype

如把id列的整型转为字符型，可以看到转换话数据类型为Object。

四、字段拆分

发现这里neighbourhood字段是“朝阳区 / Chaoyang ”形式，只想要保留“/”符号前的字段，因此需要对这个字段进行拆分，在Excel里拆分很简单，就用【数据】选项卡中的【分列】功能即可，分割符号选择“/”。

在pandas里我们用split方法来拆分

# 字段拆分
new_neighbor = df_list["neighbourhood"].str.split("/",1,True)
df_list[["neighborhood_new","neighbor2"]] = new_neighbor
df_list

第一个参数是指定分隔符，第二个参数填的是1，表示分割成1+1=2列，第三个参数填True，表示展开为数据框，默认是False，所以一般填True，结果如图

同样地把room_type这个字段也拆分一下

new_room_type = df_list["room_type"].str.split("/",1,True)
df_list[["room_type_new","room_type2"]] = new_room_type
df_list

结果如图：

@ 作者：可乐
@ 公众号/知乎专栏/头条/简书：可乐的数据分析之路
@ 加微信（data_cola）备注：进群，拉你进可乐的数据分析交流群，数据分析知识总结，不定期行业经验分享

python数据分析基础（一）

该部分将对python数据结构、函数等基础内容进行回顾，python大牛和想要直接套用模板进行数据分析方法的朋友可以直接跳过此部分。

一、基本数据结构-元组和列表

元组和列表是python最常见也是最基本的数据结构，其区别在于元组的内容和长度是不可变的，而列表是可变的。下面通过实例来介绍一些元组列表的基本操作。

1、两者之间的转换

a=[1,2,3,4]
b=1,2,3,4
print(type(a))
print(type(b))
<class 'list'>
<class 'tuple'>

(1)列表->元组

a=tuple(a)
print(a)
print(type(a))
(1, 2, 3, 4)
<class 'tuple'>

(2)元组->列表

b=list(b)
print(b)
print(type(b))
[1, 2, 3, 4]
<class 'list'>

可以通过tuple和list函数将任意序列和迭代器换成元组和数列。

2、连接和扩展

元组和列表扩展的方式是相同的。

(1,2,"jerry")+(3,4,"tom")
(1, 2, 'jerry', 3, 4, 'tom')
[1,2,"jerry"]+[3,4,"tom"]
[1, 2, 'jerry', 3, 4, 'tom']
(1,"jerry")*2
(1, 'jerry', 1, 'jerry')
[1,"jerry"]*3
[1, 'jerry', 1, 'jerry', 1, 'jerry']

需要注意的是元组连接和扩展并没有让原本的元组长度和内容发生变化，而是生成了一个新的元组（c=a+b）c是一个全新的元组，a和b并不受其影响。

3、拆包

对元组的数据或对列表的数据进行拆包通常用作变量赋值。

a,b=(1,2)
c,d=[3,4]
print(a,b,c,d)
1 2 3 4
a=1,2,3,4,5,6
b,c,*_=a
#*_代表从3及以后的数字将被舍弃
print(b,c)
1 2

4、对列表进行操作的常用方法

由于元组的不可变性，除了一些查询操作，暂时没有想到其他的可操作性，接下来将对列表的常用操作进行回顾。

（1）增加、删减元素

a=['jerry','tom']
a.append(1)#末尾增加数字1
print(a)
['jerry', 'tom', 1]
a=['jerry','tom']
a.insert(1,'rose')#指定位置插入字符串“rose”
print(a)
['jerry', 'rose', 'tom']
a=['jerry','tom']
a.pop(1)#删除指定位置元素
print(a)
['jerry']
a=['jerry','tom']
a.remove('tom')#从位置0开始移除第一个遇到的“tom”
print(a)
['jerry']

(2)sorted

a=[3,2,1,4]
sorted(a)#将a内元素从小到大，从a到z进行排序，这部分网上内容较多，可以进行参考
[1, 2, 3, 4]

(3)reversed

list(reversed(a))#将列表a中的元素倒叙排列，此处需要注意，reversed是生成器，因此需要list
[4, 1, 2, 3]

（4）enumerate

a=['tom','jerry','rose']
for position,name in enumerate(a):
    print(position,name)
0 tom
1 jerry
2 rose

将列表输入enuerate函数，会输出（位置，当前位置的元素）

5、小结

上面介绍了python中最基本的两种数据结构及其操作，在后面还会结合具体案例对其操作进行拓展、补充。

二、基本数据结构-字典

这部分在数据分析中用的特别多，我们先来看看字典的型式。

dict = {'mother': 'jerry', 'father': 123, 'son':['tom']}

字典的每个键值 key=>value 对用冒号 : 分割，每个对之间用逗号(,)分割，整个字典包括在花括号 {} 中 。

该合集为Python数据分析的视频教程，定期更新，目录如下：

系列一：2021python数据分析从基础到进阶课程（适合新手）

系列二：2021数据分析从基础到实战系列

系列三：2021四个月带你完完全全学习数据分析（视频+源码）

系列四：2021年最新python大数据分析师教程（视频+源码+课件）

系列五：2021最新python大数据全栈分析工程师视频教程

系列六：2022数据分析师入职培训教程，带你拿到理想薪资(2022.3.14更新)

点击我查看目录