一、查找重复值
既然我们这个系列是对比Excel，那么在Excel里是怎么查找重复值的呢？有很多种方法，这里就简单说一种：条件格式。在【开始】——【条件格式】里选择突出显示重复值，就将重复的值突出显示出来了：

Pandas里如何查找重复值呢？
1、查找所有列
duplicated方法查找重复值，和isnull一样，得到的结果是布尔值，如果重复被标记为True，否则为False
# 查看所有列都重复的数据df_list.duplicated()
结果如下，得到的是一个序列，通过True/False来查看哪些行完全重复。

也可以把它具体的位置找出来：
# 定位出所有列都重复的行df_list[df_list.duplicated()]
结果是一个空行，说明这个数据集里没有所有列都重复的行
2、查找单独列
对重复值的判断有时不需要判断所有列，只需要对某一列进行判断，还是用duplicated方法查找，如查找id列是否重复
# 查找id列是否重复df_list[df_list.duplicated(["id"])]
结果为空，说明id列是唯一标识。
二、重复值的处理
对重复值的处理，就是删除
在Excel里专门有一个删除重复值的功能，用这个功能就可以将某一列的重复值删除，只保留不重复的值：

在Panda里用到drop_duplicates方法来删除重复值。
1、所有列去重
对所有列都重复的行去重
# 所有列去重df_list = df_list.drop_duplicates()df_list.head()
2、某一列去重
对某一列重复的行去重，添加subset参数
# 某一列去重df_list.drop_duplicates(subset = "id")
3、某几列去重
对要去重的几列的列名用列表框起来，subset参数名可以不写
# 某几列去重df_list.drop_duplicates(["id","name"])
4、去重后保留最后一个值
以上去重时默认都是保留第一个重复的值，但如果想要保留最后一个重复的值呢，添加keep参数，让keep = "last"
# 保留最后一个值df_list.drop_duplicates(["id","name"],keep = "last")
5、查找后定位的方法去重
前面介绍了查找重复值用到的duplicated方法，那么也可以用这个方法直接去重。df_list[df_list.duplicated(["id","name"])]是定位出重复值，加个取反的符号df_list[~df_list.duplicated(["id","name"])]就将不重复的值取出来了，也就是去重了。
# 查找后定位去重df_list[~df_list.duplicated(["id","name"])]
三、类型转换
这个案例里last_review字段应该是日期时间的类型，但在这里是字符型展示，因此要把字符型转换成日期时间类型的数据，使用to_datetime方法，它有两个参数，第一个参数是要转换的列，第二个参数是设置日期时间格式。
# 字符转时间df_list["last_review"] = pd.to_datetime(df_list["last_review"],                                 format = "%Y/%m/%d")df_list.info()
结果如下，可以看到这一列已经由原先的字符型转化为了时间型。

类型转换还可以将字符转数值，数值转字符，用到astype(dtype)方法，dtype参数表示要转换的数据类型，整型为int，小数型位float，字符型为str
# 数值转字符df_list["id"].astype(str).dtype
如把id列的整型转为字符型，可以看到转换话数据类型为Object。
四、字段拆分
发现这里neighbourhood字段是“朝阳区 / Chaoyang ”形式，只想要保留“/”符号前的字段，因此需要对这个字段进行拆分，在Excel里拆分很简单，就用【数据】选项卡中的【分列】功能即可，分割符号选择“/”。

在pandas里我们用split方法来拆分
# 字段拆分new_neighbor = df_list["neighbourhood"].str.split("/",1,True)df_list[["neighborhood_new","neighbor2"]] = new_neighbordf_list
第一个参数是指定分隔符，第二个参数填的是1，表示分割成1+1=2列，第三个参数填True，表示展开为数据框，默认是False，所以一般填True，结果如图

同样地把room_type这个字段也拆分一下
new_room_type = df_list["room_type"].str.split("/",1,True)df_list[["room_type_new","room_type2"]] = new_room_typedf_list
结果如图：
@ 作者：可乐 
@ 公众号/知乎专栏/头条/简书：可乐的数据分析之路 
@ 加微信(data_cola)备注：进群，拉你进可乐的数据分析交流群，数据分析知识总结，不定期行业经验分享

如何核对2张excel表中多列数值是否一致
方法一：
Excel分别对AB列数据对比，A2=B2，就返回，否则返回不相同。
D2公式为：=IF(C2=B2,"相同","不同")，这样就可以实现excel两列对比,判断C2和B2是否相同，如果相同就返回值“相同”，反之则显示不同。
如何快速辨别Excel中两列数据是否相同
同样的方法比较其它数据，结果如下图：
如何快速辨别Excel中两列数据是否相同
不过细心的朋友会发现，B5和C5实质上有大小写区分的，因此使用这个公式不是完全准确。Excel中exact函数可以完全区分大小写，因此C2公式可以更改为：=IF(EXACT(A2,B2)=TRUE,"相同","不同")，然后下拉复制公式，完成excel两列数据对比。
如何快速辨别Excel中两列数据是否相同
这样我们就很准确的判断两列数据是否相同了，各位朋友按这方法试试。
方法二、
AB两列都是客户的姓名，需要找到两列重复的客户名称，并标示出来。
C1单元格输入数组公式：=IF(COUNTIF(A:A,B1)=0,"不重复","")，然后下拉完成excel两列数据对比。
如何快速辨别Excel中两列数据是否相同
如何快速辨别Excel中两列数据是否相同
方法三、
在Excel中通过比较两列中的数据来查找重复项。如果A列的数据没有在B列出现过，就保留单元格为空。如果A列的数据在B列出现过，就返回A列对应的数据。
C1输入公式：=IF(ISERROR(MATCH(A1,$B$1:$B$5,0)),"",A1)。Match部分得到的结果是#N/A或者数字，然后用ISERROR函数，将#N/A错误值进行处理，ISERROR(#N/A)得到TRUE，ISERROR(数字)得到false，最外面用IF函数来进行判断，如果第一参数是true，就执行第二参数，否则执行第三参数。这个应用是巧用excel两列对比，完成查找重复项。
如何快速辨别Excel中两列数据是否相同
如何快速辨别Excel中两列数据是否相同
方法四、
Excel中用vlookup函数来对比两列。
B1单元格公式为：=IF(ISNA(VLOOKUP(A1,$C$1:$C$6,1,)),"←A有C无","←AC共有")
D1单元格公式为：=IF(ISNA(VLOOKUP(C1,$A$1:$A$6,1,)),"←C有A无","←CA共有")
然后下拉复制公式，完成Excel两列对比。
如何快速辨别Excel中两列数据是否相同
如何在两个excel中核对相同内容
方法：使用“VlookUP”命令。
1、打开EXCEL表格，在C列单元格输入如下命令：=VLOOKUP(B:B,A:A,1,0)。
2、之后，向在拖动单元格，填充。就可以看到哪些数值是错误的，
如何把两个excel表格中相同的数据筛选出来，并放在第三个表格中
用vlookup函数。
将两个EXCEL表变成表(A表、B表)，将A表数据索引表，在A表中，新建一列，标题为“标识”，此列中所有有数据的行填入数据"1“。在B表中新建一列也取名为“标识”，在此列的第一行中应用VLOOKUP函数，例如“=VLOOKUP(表B[[#此行],[数据]],表A,2,FALSE) ”，这样，B表中的数据会自动跟A表中的数据进行比对，如有相同的，会自动标识数据“1”，然后你可用筛选命令，将相同的数据筛选出来，拷贝到新的一格中即可。
如果不清楚vlookup函数的用法，可上网搜索，大把的教程。
如何比对同一个EXCEL表中核对相同名称的数据，
单独选列，按名称排序，看看可行否
先选择A1：A7，排序，一定不要选“扩展选定区域”，选当前选定区域排序，使用升序
再选择B1：B7，排序，一定不要选“扩展选定区域”，选当前选定区域排序，使用升序
两个wps表格，怎么比对重复的数据？
1、首先，个WPS或者有两个Excel表格。
2、选中表格2中所有选项并填充颜色。
3、然后将填色部切粘贴到表1中。
4、在菜单栏点击数据，在下拉框选择排序。
5、在弹出的对话框中输入关键字，这里需要找出相同的姓名，所以就输入姓名。
6、排序好之后只要注意颜色交接部位就可以了，相同项就出来了。
怎样在两个excel表里比对出相同数据。
怎样在两excel表里比对出相同数据决方下：
1、可以使用vlookup()或者countif()成比较的，
2、假设在表找表二某相同单位，A1是表一中的单元格，表二中单位那一列为B列，
3、在表一中B1位置输入=COUNTIF("表二的位置路径'B:B,A1)，
4、显示在表二中找到名称为A1的单位共几个，0表示没找到。
怎样快速找出两个excel表中相同的数据
1两个工作表放在窗口中，sheet1适用于所有学生，sheet2是一个类的名称。
2、在sheet1相对应名字同一行的空白出输=if(countif())
3、然后切换到sheet2，选择所有名称并按Enter键。
4、再切换到sheet1，这时这个函数变成了=if(countif(Sheet2!A1:A44))
5、最后，将函数补充完=if(countif(Sheet2!$A$1:$A$44,A2),"S","F"),输入完成后，按Enter键。显示为S的那个是这个班的学生。如果显示为F，则不显示。然后从这一行拉出填充，可以筛选所有学生。

一、查找重复值
既然我们这个系列是对比Excel，那么在Excel里是怎么查找重复值的呢？有很多种方法，这里就简单说一种：条件格式。在【开始】——【条件格式】里选择突出显示重复值，就将重复的值突出显示出来了：

Pandas里如何查找重复值呢？
1、查找所有列
duplicated方法查找重复值，和isnull一样，得到的结果是布尔值，如果重复被标记为True，否则为False
# 查看所有列都重复的数据df_list.duplicated()
结果如下，得到的是一个序列，通过True/False来查看哪些行完全重复。

也可以把它具体的位置找出来：
# 定位出所有列都重复的行df_list[df_list.duplicated()]
结果是一个空行，说明这个数据集里没有所有列都重复的行
2、查找单独列
对重复值的判断有时不需要判断所有列，只需要对某一列进行判断，还是用duplicated方法查找，如查找id列是否重复
# 查找id列是否重复df_list[df_list.duplicated(["id"])]
结果为空，说明id列是唯一标识。
二、重复值的处理
对重复值的处理，就是删除
在Excel里专门有一个删除重复值的功能，用这个功能就可以将某一列的重复值删除，只保留不重复的值：

在Panda里用到drop_duplicates方法来删除重复值。
1、所有列去重
对所有列都重复的行去重
# 所有列去重df_list = df_list.drop_duplicates()df_list.head()
2、某一列去重
对某一列重复的行去重，添加subset参数
# 某一列去重df_list.drop_duplicates(subset = "id")
3、某几列去重
对要去重的几列的列名用列表框起来，subset参数名可以不写
# 某几列去重df_list.drop_duplicates(["id","name"])
4、去重后保留最后一个值
以上去重时默认都是保留第一个重复的值，但如果想要保留最后一个重复的值呢，添加keep参数，让keep = "last"
# 保留最后一个值df_list.drop_duplicates(["id","name"],keep = "last")
5、查找后定位的方法去重
前面介绍了查找重复值用到的duplicated方法，那么也可以用这个方法直接去重。df_list[df_list.duplicated(["id","name"])]是定位出重复值，加个取反的符号df_list[~df_list.duplicated(["id","name"])]就将不重复的值取出来了，也就是去重了。
# 查找后定位去重df_list[~df_list.duplicated(["id","name"])]
三、类型转换
这个案例里last_review字段应该是日期时间的类型，但在这里是字符型展示，因此要把字符型转换成日期时间类型的数据，使用to_datetime方法，它有两个参数，第一个参数是要转换的列，第二个参数是设置日期时间格式。
# 字符转时间df_list["last_review"] = pd.to_datetime(df_list["last_review"],                                 format = "%Y/%m/%d")df_list.info()
结果如下，可以看到这一列已经由原先的字符型转化为了时间型。

类型转换还可以将字符转数值，数值转字符，用到astype(dtype)方法，dtype参数表示要转换的数据类型，整型为int，小数型位float，字符型为str
# 数值转字符df_list["id"].astype(str).dtype
如把id列的整型转为字符型，可以看到转换话数据类型为Object。
四、字段拆分
发现这里neighbourhood字段是“朝阳区 / Chaoyang ”形式，只想要保留“/”符号前的字段，因此需要对这个字段进行拆分，在Excel里拆分很简单，就用【数据】选项卡中的【分列】功能即可，分割符号选择“/”。

在pandas里我们用split方法来拆分
# 字段拆分new_neighbor = df_list["neighbourhood"].str.split("/",1,True)df_list[["neighborhood_new","neighbor2"]] = new_neighbordf_list
第一个参数是指定分隔符，第二个参数填的是1，表示分割成1+1=2列，第三个参数填True，表示展开为数据框，默认是False，所以一般填True，结果如图

同样地把room_type这个字段也拆分一下
new_room_type = df_list["room_type"].str.split("/",1,True)df_list[["room_type_new","room_type2"]] = new_room_typedf_list
结果如图：
@ 作者：可乐 
@ 公众号/知乎专栏/头条/简书：可乐的数据分析之路 
@ 加微信(data_cola)备注：进群，拉你进可乐的数据分析交流群，数据分析知识总结，不定期行业经验分享

        如果在几百行、几千行、甚至更多数据的Excel表格中，找出不同的数据；或者在两列数据中，找出相同的值……核对两个工作表的数据是否完全相同等等，你会怎么做？一行一行的对比……那你就真的Out了……
一、同行对比（相同/不同）。
方法：
1、选定目标单元格。
2、快捷键：Ctrl+（反斜杠）。
3、标识颜色。
二、两列数据对比。
目的：标识重复值。
思路1：
方法：
1、选定目标单元格。
2、【条件格式】-【突出显示单元格规则】-【重复值】。
3、选择填充色等。
思路2：
方法：
1、【数据】-【高级】。
2、单击【列表区域】右侧的箭头，选择需要对比的第一列数据。
3、单击【条件区域】右侧的箭头，选择需要对比的第二列数据。
4、【确定】。
5、【开始】-填充颜色。
三、不同工作簿的两列对比。
方法：
1、在任意一个工作表的目标单元格中输入公式：=COUNTIF(工作表1!B$3:B$9,B3)。
2、【数据】-【筛选】，筛选出结果为“0”和大于“0”的结果。
解读：
1、如果为“0”则代表不重复，如果大于0则代表重复，具体的数值代表重复次数。
2、公式中的“工作表1”为参与计算的工作簿的名称，需要注意的是并不是当前工作簿的名称哦！
四、数值类表格的比较。
方法：
1、复制第一个工作表中的数值区域。
2、在第二个工作表中的数值区域，单击右键-【选择性粘贴】-【减】-【确定】。
解读：
1、计算结果中的“0”代表数值相同，非“0”值则代表具体的差值。
2、前提条件是表格结果必须相同，数值类型必须为数值类型哦！
五、不限制类型的数据对比。
方法：
1、选择两个表格中的任意一个表格，【开始】-【条件格式】-【新建规则】-【使用公式确定要设置格式的单元格】。
2、在【为符合此公式的值设置格式】中输入公式：=A3<>A14，并单击【格式】-【填充】，选择填充色，并【确定】-【确定】。
解读：
被标记成填充色的就是不同的数据哦！
六、“差异化”比较。
目的：比较基础数据有差异的表格数据。
方法：
1、选定两个表格中的任意一个表格数据，【开始】-【条件格式】-【新建规则】-【使用公式确定要设置格式的单元格】。
2、在【为符合此公式的值设置格式】中输入公式：=vlookup($b14,$b$3:$h$9,column()-1,0)<>c14，并单击【格式】-【填充】，选择填充色，并【确定】-【确定】。
解读：
1、使用此方法的原因在于表格内容并不完全一致。
2、被标记成填充色的就是不同的数据哦！
结束语：
        通过本节的学习，相信各位亲对数据核对有了更进一步的认识，对于使用技巧，你Get到了吗？