在excel中进行数据统计过程中，因为不小心录入了部分重复数据，或者在一个已有的大数据中，怎样解决并筛选出那些重复数据呢，有两种方法，我的经验分享如下：
一、使用Excel->开始->条件格式->突出显示单元格规则->重复值
1、打开Excel表，选定需要筛选的数据

2、点击”开始”选项卡->”条件格式”->在弹出的菜单中点击->”突出显示单元格规则”->”重复值”

3、在弹出的对话框中选择[重复值]设置为[浅红色填充深红色文本]，根据自己喜好设置，点击确定之后深红色部分为有重复的数据。

4、如果在对话框中选择[唯一]值，设置[浅红色填充深红色文本]，点击确定之后，深红色填充的数据为唯一的数值。

 
二、使用公式
可以用countif函数来查重复项，
语法规则
countif（range，criteria）
参数：range 要计算其中非空单元格数目的区域
参数：criteria 以数字、表达式或文本形式定义的条件

在单元格中输入”=COUNTIF(A:A, A1)”,回车后，双击下拉鼠标，就会显示数字出来，数字1表示只出现一次，2表示出现了两次，以此类推。A:A的意思是选定的比较范围，A1表示需要比较的数值。
另外，如果是单元格是数字，并且数字超过了15位，如身份证号码，金额之类的，使用上面两种方法就会出现错误，上面两种方法只能比较15位以内的数字，怎么比较呢？就需要在COUNTIF函数中修改一些东西。
需要将比较值中再添加”*” “=COUNTIF(A:A,A1&”*”)

 

语法规则
　　该函数的语法规则如下： 
　　VLOOKUP(lookup_value,table_array,row_index_num,range_lookup)

　　 

参数


简单说明


输入数据类型


lookup_value


要查找的值


数值、引用或文本字符串


table_array


要查找的区域


数据表区域


row_index_num


返回数据在区域的第几列数


正整数


range_lookup


精确匹配


TRUE（或不填） /FALSE

例：=VLOOKUP($A1,Sheet2!$A:$C,3,false)
查找Sheet2表格的A到C列中查找单元格内容与$A1相同的，并且将匹配结果的第3个单元格的内容填充到当前单元格

python在处理Excel表格中, 功能非常强大, 几乎可以说是为所欲为; 其中, 处理Excel表格中, 最常用的就是按条件提取出表格中的某些特征的内容; 对于的, 就要用到python的索引功能; 以下是要实操的案例数据中的一部分

CardCount
			
Type
			
TermNo
			
OperNo
			
Dept
		
818
			
消费
			
49
			
235
			
第一食堂
		
814
			
消费
			
63
			
27
			
第二食堂
		
820
			
消费
			
63
			
27
			
第二食堂
		
211
			
消费
			
196
			
133
			
好利来食品店
		
209
			
消费
			
146
			
48
			
好利来食品店
		
210
			
消费
			
169
			
12
			
第三食堂
		
212
			
消费
			
169
			
12
			
第三食堂
		
213
			
消费
			
169
			
12
			
第三食堂
		
676
			
存款
			
202
			
143
			
财务处
		
673
			
消费
			
41
			
249
			
第四食堂
		
677
			
消费
			
41
			
249
			
第四食堂
		
672
			
消费
			
61
			
252
			
第四食堂
		
678
			
消费
			
61
			
252
			
第四食堂
		
679
			
消费
			
61
			
252
			
第四食堂
		
680
			
消费
			
175
			
247
			
第四食堂
		
674
			
消费
			
19
			
236
			
第一食堂
		
675
			
消费
			
49
			
235
			
第一食堂
		
782
			
消费
			
4
			
27
			
第二食堂
		
780
			
消费
			
59
			
27
			
第二食堂
		
784
			
消费
			
87
			
27
			
第二食堂
		
785
			
消费
			
186
			
27
			
第二食堂
		
781
			
消费
			
7
			
27
			
第二食堂
		
任务:  将Dept这一列中,提取出一,二食堂构成新的表格


import os
import pandas as pd

os.chdir(r"D:\")


def duty2_1():
   
    data2 = pd.read_csv("task1_1_2.csv") # 导入数据
   
    # 取出'Dept'这一列
    data2_Dept = data2['Dept']
    
    # 查看'Dept'这一列分类情况  # 结果为有6个类别的食堂
    print(data2_Dept.value_counts())

    # 取出'Dept'这一列所有食堂的行,构建新的DF: data_canteen

    data_canteen = data2[(data2['Dept']=='第一食堂') | (data2['Dept']=='第二食堂')][['CardNo','Dept']]    # (data2['Dept']=='第一食堂') 表示提取出Dept列中'第一食堂'所在的所有行
    # (data2['Dept']=='第二食堂') 表示提取出Dept列中'第二食堂'所在的所有行
    # ['CardNo','Dept']表示Dept取出这一列
    # | 是逻辑符号: 或

    print(data_canteen)




用法总结:df[(列满足的条件)逻辑符号(列满足的条件)逻辑符号()][]


 

日常用表格处理问题时会遇到一些匹配查找的场景如在A表格中有根据某些应用的问题需要指定责任人，而责任人再意外一个sheet页或者另外一个表格B中，这时可以用VLOOLUP方法从B表格中找到对应的责任人后填写到A表格的责任人列；

VLOOLUP方法说明：VLOOPUP(lookup_value,table_array,col_index_num,[range_lookup]);

lookup_value：A表格中需要匹配的关键字，即需要A表格中的那个字段在B表格中进行匹配；

table_array：表示从B表格中哪个范围内匹配，这个范围要大是所有的范围，要全部圈上而且要包含需要返回的哪一列；

col_index_num：需要返回一些的索引值，索引从1开始；

[range_lookup]：枚举值TRUE（模糊匹配）和FALSE（精确匹配）；

例如如下表格A：如5个问题，分别对应不同的责任域，但责任人不知道需要到另一个表格中同一个表格的另一个sheet页中查找；

问题
			
责任域
			
责任人
		
123
			
A
			
 
		
234
			
B
			
 
		
345
			
C
			
 
		
3456
			
A
			
 
		
4656
			
C
			
 
		
对应B表格如下：

排名
			
责任域
			
表述
			
责任分类
			
责任人
		
1
			
A
			
aaa
			
高
			
张三
		
2
			
B
			
bbb
			
中
			
李四
		
3
			
C
			
ccc
			
低
			
王五
		
目的是将B表格中的责任人匹配到A表格的责任人中。

步骤一：用VLOOPUP方法；

步骤二：在表格A中的123问题的责任人中写上=vloop后双击关联出来的VLOOKUP方法；



步骤三、点击A表示第一个参数作为关键字在B表格中用于匹配；



步骤四、敲击逗号，输入第二个关键字，在表格中中圈上需要匹配的范围，注意是全部的范围而且要包含返回的内容，在B表格中选择B、C、D、E列，以为内要包含返回列所有要把这四列都选上（注需要匹配的表格可以在统一路径也可以不在统一路径直接到对应表格中圈中即可，统一表格不同sheet页同理）：



步骤五、在公示中敲击逗号开始输入第三个参数，第三个参数是需要返回的内容，而且是索引值，索引从1开始，需要反馈的E列内容，B、C、D和E，从1开始对应E为索引4，所以写上4：



 步骤六、公示中敲击逗号输入第四个参数，用精确匹配，输入FALSE后补齐公示的参数右括号：



步骤七、敲击回车，可以看到表格A中对应列会反馈责任人：



 步骤八：负责2行C列并粘贴到剩余的单元格，完成所有匹配：