作者：iamlaosong

客服人员发现地市分公司上报的理赔邮件有重复现象，但人工检查重复非常麻烦，因为这些号码不在一个工作表中。为此我做了一个小工具，可以一键列出Excel文件中所有工作表中重复的号码。有了这个工具，不仅可以筛选重复邮件号码，也可以用于筛选其他重复的东西，比如姓名、身份证号码等等。

1、工具界面

为了提高工具的适应能力，有些参数可以让用户自己设置的，比如文件名、筛选重复的列、数据起始行、附加信息等，界面如下，其中的工作表名称是用日期命名的：



2、功能实现

功能比较简单，无非是循环比较。读取需要比较的号码列及附加列信息，然后就是比较了。取一个号码，首先比较本表有没有重复，然后再读取其他表号码列比较，发现有重复的，记录下号码和附加信息，重复信息。考虑4个重复已经够了，所以表中最多可以记录4个重复信息，如果超过4个，则标注一个“*”号，不再记录。

还有一个问题要注意，数字类的号码可以是数字格式，也可以是文本格式，如果格式不同，即便号码相同也是不等的，如果不注意，可能会漏掉重复号码。安全的解决办法是比较时，转换为文本格式。

如果有需要，还可以在此基础上增加其他功能，比如删除重复号码，给重复号码单元格加上标志等等。如果是删除号码，有一个技巧，就是从后面向前面删除，这样删除的号码不会影响前面号码的定位。

代码如下：

'筛重
Sub get_rep()
    Dim MaxRow, MaxRow1, MaxRow2 As Long
    Dim i, j, k1, k2, DataNo1, DataNo2, RepNo, rr, cc, stNum As Integer
    Dim Mail, colMail, colFee, rowFirst, DatFile As String
    Dim arrAdd1(), arrAdd2(), arrData1(), arrData2(), RepData(1000, 14)

    colpm = 17
    DatFile = Cells(3, colpm)                              '文件名称
    colMail = Cells(4, colpm)                              '邮件号码列
    rowFirst = Cells(5, colpm)                             '起始行
    colAdd1 = Cells(6, colpm)                              '附加列1
    colAdd2 = Cells(7, colpm)                              '附加列2
    
    MaxRow = ActiveSheet.UsedRange.Rows.Count
    If MaxRow >= 3 Then
        ActiveSheet.Range("A3:N" & MaxRow).ClearContents
    End If
    
    '打开文件
    MaxRow = OpenFile(DatFile)
    stNum = Sheets.Count
    rr = 1
    cc = 1
    For k1 = 1 To stNum
        MaxRow1 = Sheets(k1).[A65536].End(xlUp).Row
        If MaxRow1 >= rowFirst Then
            DataNo1 = MaxRow1 - rowFirst + 1
            arrData1 = Sheets(k1).Range(colMail & rowFirst & ":" & colMail & MaxRow1).Value
            arrAdd1 = Sheets(k1).Range(colAdd1 & rowFirst & ":" & colAdd1 & MaxRow1).Value
            arrAdd2 = Sheets(k1).Range(colAdd2 & rowFirst & ":" & colAdd2 & MaxRow1).Value
            For i = 1 To DataNo1
                Mail = CStr(arrData1(i, 1))
                '查找本表重复
                For j = i + 1 To DataNo1
                    If Mail = CStr(arrData1(j, 1)) Then
                        If cc = 1 Then
                            RepData(rr, 1) = arrData1(i, 1)
                            RepData(rr, 2) = arrAdd1(i, 1)
                            RepData(rr, 3) = arrAdd2(i, 1)
                            RepData(rr, 4) = Sheets(k1).Name
                            RepData(rr, 5) = rowFirst + i - 1
                            RepData(rr, 6) = Sheets(k1).Name      '重复项存放开始列：6、8、10、12列
                            RepData(rr, 7) = rowFirst + j - 1
                            cc = 8
                        Else
                            RepData(rr, cc) = Sheets(k1).Name
                            RepData(rr, cc + 1) = rowFirst + j - 1
                            cc = cc + 2
                        End If
                    End If
                Next j
                '查找剩余工作表重复
                For k2 = k1 + 1 To stNum
                    MaxRow2 = Sheets(k2).[A65536].End(xlUp).Row
                    If MaxRow2 >= rowFirst Then
                        DataNo2 = MaxRow2 - rowFirst + 1
                        arrData2 = Sheets(k2).Range(colMail & rowFirst & ":" & colMail & MaxRow2).Value
                        For j = 1 To DataNo2
                            If Mail = CStr(arrData2(j, 1)) Then
                                If cc = 1 Then
                                    RepData(rr, 1) = arrData1(i, 1)
                                    RepData(rr, 2) = arrAdd1(i, 1)
                                    RepData(rr, 3) = arrAdd2(i, 1)
                                    RepData(rr, 4) = Sheets(k1).Name
                                    RepData(rr, 5) = rowFirst + i - 1
                                    RepData(rr, 6) = Sheets(k2).Name      '重复项存放开始列：6、8、10、12列
                                    RepData(rr, 7) = rowFirst + j - 1
                                    cc = 8
                                Else
                                    If cc = 14 Then        '超过4个以上重复，后面标注*号，不在判断
                                        RepData(rr, cc) = "*"
                                        cc = cc + 2
                                        Exit For
                                    Else
                                        RepData(rr, cc) = Sheets(k2).Name
                                        RepData(rr, cc + 1) = rowFirst + j - 1
                                        cc = cc + 2
                                    End If
                                End If
                            End If
                        Next j
                        If cc > 14 Then Exit For     '超过4个以上重复，后面不在判断
                    End If
                Next k2
                '本号查找完毕，如果有重复，重新初始化
                If cc > 1 Then
                    rr = rr + 1
                    cc = 1
                End If
            Next i
        End If
    Next k1
    
    ActiveWindow.Close
    '保存筛重结果
    RepNo = rr - 1
    If RepNo > 0 Then
        For rr = 1 To RepNo
            For cc = 1 To 14
                Cells(rr + 2, cc) = RepData(rr, cc)
            Next cc
        Next rr
    End If
    msg = MsgBox("筛重完毕，共发现" & RepNo & "个邮件号码重复！", vbOKOnly, "ＡＨＥＭＳ：iamlaosong")

End Sub



 

我是月球挖掘机，这是一篇带有疑惑的文章。如果你有好的见解，欢迎与我交流，邮箱：wxy@wxy.ink

数据源：

三行数据都是日期，第一行是文本，第二行和第三行都是文本格式。



对比：

条件格式：

通过设置条件格式筛选重复值，



结果：可以看到第二行和第三行被认为相同的值。即，条件格式筛选重复值认为单元格内数值相同的即为重复值。



高级筛选：

通过数据-筛选-高级筛选，勾选仅显示唯一值。



结果：数据只剩余两行，说明筛选重复值，第二行和第三行被认为相同的值。即，高级筛选重复值认为单元格内数值相同的即为重复值。



删除重复值：

数据-删除重复值



结果：提示没有重复值。也就是删除重复值是对比单元格显示数据和单元格格式数据，两者都一致，才认为是重复值。

我的试验结果与官方的说明不同，所以比较疑惑。官方解释如下：


了解如何筛选唯一值或删除重复值

筛选唯一值和删除重复值是两个类似的任务，因为目标是显示唯一值的列表。 但是，有一个关键区别：筛选唯一值时，重复值仅暂时隐藏。 但是，删除重复值意味着要永久删除重复值。

重复值是一个重复值，其中至少一行的所有值都等同于另一行的所有值。 重复值的比较取决于单元格中显示的值，而不是单元格中存储的基础值。 例如，如果不同单元格中的日期值相同，一个单元格的格式设置为"2006 年 3 月 8 日"，另一个单元格设置为"2006 年 3 月 8 日"，则值是唯一的。

筛选唯一值或删除重复值 - Excel (microsoft.com)


我的Office版本：Version2008（Build 13127.21506）



如果你有不同的见解，欢迎评论交流。

 

SQLite MAX 函数更具时间筛选出最新一条重复数据

刚刚还了工作，最近在升级新公司项目的时候遇到一个问题——筛选（select）出最新的一条重复数据。虽然简单来说解决这个问题并不复杂，但是由于其他种种原因导致这个问题处理起来并不那么容易，这里就不吐槽了。具体内容如下： 

（由于是公司现有项目，下面的内容会将部分数据进行处理并非原始数据。）

从表AH_FARMER_R中查询is_change=’1’的相关数据。 

 如下： 
 

        select  FARMER_CN,CREATORTIME from farmer where is_change='1' order by FARMER_CN,CREATORTIME desc 


id
  
FARMER_CN
  
CREATORTIME
1
  
2140014
  
2016-12-26 11:29:43
2
  
406201X
  
2017-01-23 15:00:18
3
  
406201X
  
2016-12-26 11:29:34
4
  
406201X
  
2016-12-26 11:16:51
5
  
4292010
  
2017-01-23 14:59:25
6
  
6012010
  
2017-01-23 14:57:24
7
  
6012010
  
2016-12-26 11:16:53
8
  
7082042
  
2017-01-23 14:57:42
9
  
7142016
  
2017-01-23 14:59:14
10
  
8574444
  
2017-01-23 15:00:42
11
  
8574444
  
2016-12-26 11:18:51
12
  
8574444
  
2016-12-26 11:18:36
13
  
8574444
  
2016-12-26 11:16:28
表中分别“406201X“,”6012010”,”8574444” 三组重复数据。然而具体要求希望的到的是最新的数据——即查询出的结果不包括上表中的第3，4，7，11，12，13行数据。 

由于SQLite 中不支持ROW_NUMBER() OVER(PARTITION BY...) 所以这里使用MAX（column_name）函数并结合group by ,具体如下：

select  FARMER_CN,CREATORTIME,Max(CREATORTIME) from farmer where is_change='1' group by FARMER_CN

搜寻结果如下： 


可能是自己对数据库操作并不熟悉把，所以对于MAX 函数我也一直认为是对数字类型的操作 。而且SQLite 中也没有单独的用于存储日期和/或时间的存储类——也就是说这里的CREATORTIME也就是一个格式化的字符串，那Max是怎么比较的？我也确实不懂，还希望有了解的人能指点一二。好人一生平安。

[闽南网]
有许多小伙伴还不了解在excel里筛选的简单操作,而下面就分享了在excel中筛选的方法，一起来看看吧。
在excel中筛选的简单操作
自动筛选用法：
1、选中原始数据区域(包含表头)，然后点击【数据】-【筛选】。
操作完成后数据区域的第一行(抬头)处每个单元格产生了一个下拉箭头。
点击一个抬头的下拉按钮，可以看到最上面有三个排序功能，“升序”、“降序”和“按颜色排序”。我们用这个功能可以对数据先进行排序操作。
下面的选择框中点击【全选】按钮会把所有内容选中。也可以直接取消【全选】状态，用鼠标手动选择要筛选出数据。比如我们只要“陈玉”、“李秋香”和“秦琴”这三个人。
点击【确定】按钮后，表格就只显示“陈玉”、“李秋香”和“秦琴”这三个人的数据。其余数据都被自动隐藏了。行号处都会显示成蓝色，表示已执行自动筛选。
我们点击【文本筛选】，可以看到下一层的可选菜单，比如说“包含”、“不包含”、“等于”、“开头是”等选项。我们可以需要选择具体内容。
举例来说，我们选择“包含”。在【包含】后面输入一个“小”字，然后点击【确定】按钮。这样，所有姓名中包含“小”字的人名都会被筛选出来。
在这里，我们可以选择两个条件，两个条件的关系是“同时满足”或者“满足其一即可”。在筛选中表示为“与”和“或”。我们选择“或”，并在第二个条件下拉菜单也选择“包含”，后面输入“玉”字。
这样，所有包含“小”字或“玉”字的姓名就都被筛选出来了。
我们选第一列的日期下拉按钮看看Excel对日期的筛选有什么特点。
首先可以看到的不同是Excel将日期自动进行了归类，按年月日进行了分组。可以方便的选择年或者月份数据。
点击【日期筛选】按钮可以看到更丰富的日期筛选选项。
注意：为了使用自动筛选对日期筛选的强大功能，一定要保证日期为Excel可识别的日期格式，不能是文本或者不可识别的日期格式。
以上讲解了在excel中筛选的日常操作应用，希望能对各位有所帮助。