查询LSCJMB表中F_CJZY对应列值重复的数据：
 
SELECT F_CJZY,COUNT(F_CJZY) FROM LSCJMB GROUP BY F_CJZY HAVING COUNT( F_CJZY )>1
 
查出了重复的列及重复行数：
 
 
删除全部涉及重复的数据：
 delete from LSCJMB where F_CJZY in(SELECT F_CJZY,COUNT(F_CJZY) FROM LSCJMB GROUP BY F_CJZY HAVING COUNT( F_CJZY )>1);
 
需要保存某一列，然后删除剩余的列的话，用如下sql，删除了输了F_GUID最大列以外的所有数据。可以当作是 ID 最大的列。
 delete from LSCJMB where F_GUID not in(select t.F_GUID1 from (select max (a.F_GUID) F_GUID1 from LSCJMB a group by a.F_CJZY)as t );

  
 Python按照某些列去重，可用drop_duplicates函数轻松处理。本文致力用简洁的语言介绍该函数。
   
 


 
文章目录
 
一、drop_duplicates函数介绍
二、加载数据
三、按照某一列去重
1. 按照某一列去重(参数为默认值)
2. 按照某一列去重(改变keep值)
3. 按照某一列去重(inplace=True)
   
   
四、按照多列去重
 


   
 
一、drop_duplicates函数介绍
 
  
 drop_duplicates函数可以按某列去重，也可以按多列去重。具体语法如下：
 
DataFrame.drop_duplicates(subset=None,keep='first',inplace=False)
 
代码解析：
   
 DataFrame：待去重的数据框。
 
subset：用来指定特定的列，根据指定的列对数据框去重。默认值为None，即DataFrame中一行元素全部相同时才去除。
 
keep：对重复值的处理方式，可选{‘first’, ‘last’, ‘False’}。默认值first，即保留重复数据第一条。若选last为保留重复数据的最后一条，若选False则删除全部重复数据。
 
inplace：是否在原数据集上操作。默认值False，即把原数据copy一份，在copy数据上删除重复值，并返回新数据框(原数据框不改变)。值为True时直接在原数据视图上删重，没有返回值。
 
  
 
二、加载数据
 
  
 加载有重复值的数据，并展示数据。
 
# coding: utf-8
import os             #导入设置路径的库
import pandas as pd  #导入数据处理的库
import numpy as np   #导入数据处理的库

os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值')  #把路径改为数据存放的路径
name = pd.read_csv('name.csv',sep=',',encoding='gb18030')
name
 
得到结果：
 
 注：后文所有的数据操作都是在原始数据集name上进行。
 
  
 
三、按照某一列去重
 
  
 
1. 按照某一列去重(参数为默认值)
 
按照name1对数据框去重。
 
new_name_1 = name.drop_duplicates(subset='name1')
new_name_1
 
得到结果：
 
 
  从结果知，参数为默认值时，是在原数据的copy上删除数据，保留重复数据第一条并返回新数据框。感兴趣的可以打印name数据框，删重操作不影响name的值。
   
 
2. 按照某一列去重(改变keep值)
 
2.1 实例一(keep=‘last’)
 
按照name1对数据框去重，并设置keep=‘last’。
 
new_name_1 = name.drop_duplicates(subset='name1',keep='last')
new_name_1
 
得到结果：
 
 
  从结果知，参数keep=‘last’，是在原数据的copy上删除数据，保留重复数据最后一条并返回新数据框，不影响原始数据框name。
   
 2.2 实例二(keep=False)
 
按照name1对数据框去重，并设置keep=False。
 
new_name_2 = name.drop_duplicates(subset='name1',keep=False)
new_name_2
 
得到结果：
 
 
从结果知，参数keep=False，是把原数据copy一份，在copy数据框中删除全部重复数据，并返回新数据框，不影响原始数据框name。
   
 
3. 按照某一列去重(inplace=True)
 
  
 按照name1去重，并设置inplace=True。
 
new_name_3 = name.drop_duplicates(subset='name1',inplace=True)
new_name_3
 
结果中new_name_3的值为空，即设置inplace=True时没有返回结果，是在原始数据框name上直接进行操作。打印name可得结果：
 
 
结果和按照某一列去重(参数为默认值)是一样的。如果想保留原始数据框直接用默认值即可，如果想直接在原始数据框删重可设置参数inplace=True。
   
 
四、按照多列去重
 
  
 对多列去重和一列去重类似，只是原来根据一列是否重复删重。现在要根据指定的列判断是否存在重复（顺序也要一致才算重复）删重。接下来看一个实例：
 
new_name = name.drop_duplicates(subset=['name1','relation'])
new_name
 
得到结果：
 
   原始数据中只有第二行和最后一行存在重复，默认保留第一条，故删除最后一条得到新数据框。想要根据更多列数去重，可以在subset中添加列。如果不写subset参数，默认值为None，即DataFrame中一行元素全部相同时才去除。
 
  从上文可以发现，在Python中用drop_duplicates函数可以轻松地对数据框进行去重。但是对于两列中元素顺序相反的数据框去重，drop_duplicates函数无能为力。如需处理这种类型的数据去重问题，参见基于多列组合删除数据框中的重复值。
   
 你可能感兴趣:
 用Python绘制皮卡丘
 用Python绘制词云图
 Python画好看的星空图（唯美的背景）
 Python浪漫表白源码合集（爱心、玫瑰花、照片墙、星空下的告白）
 

 
 

 长按(扫一扫)识别上方二维码学习更多Python和建模知识，让你的学习和工作更出彩。 

  
   最近公司在做关联图谱的项目，想挖掘团伙犯罪。在准备关系数据时需要根据两列组合删除数据框中的重复值，两列中元素的顺序可能是相反的。我们知道Python按照某些列去重，可用drop_duplicates函数轻松处理。详见【Python】基于某些列删除数据框中的重复值。但是对于两列中元素顺序相反的数据框去重，drop_duplicates函数无能为力。
 
  Python中有多种方法可以处理这类问题。一种是写循环依次判断是否重复删重，另一种是用本公众号文章：Python中的集合提到的frozenset函数，一句语句解决该问题。循环太过繁琐，而且速度较慢。本文介绍一句语句解决多列组合删除数据框中重复值的问题。
 
  
 

 
文章目录
 
一、举一个小例子
二、基于两列删除数据框中的重复值
1. 加载数据
2. 具体实现代码及解析
2.1 具体代码
2.2 代码解析
     
3. 拆分代码并展示结果
4. 做一个小实验
    
三、把代码推广到多列
1. 加载数据
2. 多列去重实现代码
   
  
 


   
 
一、举一个小例子
 
  
   在Python中有一个包含3列的数据框,希望根据列name1和name2组合(在两行中顺序不一样)消除重复项。原始数据如下：
 
 
  希望得到结果：
 

   
 
  这就是本文要解决的问题，接下来分享准备关系数据时的实例。
   
 
二、基于两列删除数据框中的重复值
 
1. 加载数据
 
# coding: utf-8
import os             #导入设置路径的库
import pandas as pd  #导入数据处理的库
import numpy as np   #导入数据处理的库

os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值')  #把路径改为数据存放的路径
df = pd.read_csv('relation.csv',sep=',',encoding='gb18030')
df.head()
 
  注：由于数据涉及安全问题，本文数据已经过处理。如需数据实现本文代码，请到“阿黎逸阳的代码”公众号中回复：“基于多列删重”，可免费获取。得到结果：
 

   
   由于原始数据是从hive sql中跑出来，表示商户号之间关系的数据，merchant_r和merchant_l中存在组合重复的现象。现希望根据这两列组合消除重复项。打印原始数据行数：
 
print(df.shape)
 
得到结果：
 
(130, 3)
 
  由于每两行中有一行是重复的，希望数据处理后得到一个65行3列的去重数据框。
 
  
 
2. 具体实现代码及解析
 
2.1 具体代码
 
df_final = df[~df[['merchant_r', 'merchant_l']].apply(frozenset, axis=1).duplicated()]
print(df_final.shape)
 
得到结果：
 
(65, 3)
 
2.2 代码解析
 
df[['merchant_r', 'merchant_l']]：从df中取出待组合删重的两列。
 
apply(frozenset, axis=1)：把取出两列中的行当做变量依次传到frozenset函数中去。
 
frozenset：冻结集合，不可变，存在哈希值。经过这个函数就可以解决两行中值的顺序不一致问题。因为集合是无序的，只要值相同不用考虑顺序。
 
duplicated()：判断变成冻结集合的列是否存在重复值，若存在标记为True。
 
~：取反操作，把FALSE变成True，True变成False。相当于保留第一行，把其余重复行删除。
   
 
3. 拆分代码并展示结果
 
  
 拆分代码1：
 
df[['merchant_r', 'merchant_l']].apply(frozenset, axis=1)
 
得到结果：
 
 
拆分代码2：
 
df[['merchant_r', 'merchant_l']].apply(frozenset, axis=1).duplicated()
 
得到结果：
 
 
4. 做一个小实验
 
  
 如果仅仅变成无序集合，set函数也可以做到。我们来看下用set替换frozenset是否可行。
 
df_cs = df[~df[['merchant_r', 'merchant_l']].apply(set, axis=1).duplicated()]
 
得到结果：
 
 
从上图可以看出用set替换frozense会报不可哈希的错误。
   
 
三、把代码推广到多列
 
  
   解决多列组合删除数据框中重复值的问题，只要把代码中取两列的代码变成多列即可。下面分享一个实例：
 
1. 加载数据
 
# coding: utf-8
import os             #导入设置路径的库
import pandas as pd  #导入数据处理的库
import numpy as np   #导入数据处理的库

os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值')  #把路径改为数据存放的路径
name = pd.read_csv('name.csv',sep=',',encoding='gb18030')
name
 
得到结果：
 
 
2. 多列去重实现代码
 
name_final = name[~name.apply(frozenset, axis=1).duplicated()]
name_final
 
得到结果：
 
 
  本文是我在工作中碰到的问题，发现用循环解决特别麻烦。而用frozenset函数配合其它函数代码特别简洁，故分享给更多有需要的朋友。本文有偏颇的地方欢迎指正。
 
参考文献
 
https://zhuanlan.zhihu.com/p/30116307
https://zhuanlan.zhihu.com/p/43492827
https://zhuanlan.zhihu.com/p/59137998
https://zhuanlan.zhihu.com/p/111260930
https://baijiahao.baidu.com/s?id=1639202882632470513&wfr=spider&for=pc
 
你可能感兴趣:
 用Python绘制皮卡丘
 用Python绘制词云图
 Python画好看的星空图V2版——添加背景图片和音乐
 

 
 

 长按(扫一扫)识别上方二维码学习更多Python和建模知识，让你的学习和工作更出彩。 

 
 
数据库测试表dbo.Member
 
 
一、单列重复
 
一，带有having条件的分组查询方法
 
(1)查询某一列重复记录
 
语句：
 
 SELECT  Name FROM  dbo.Member t WHERE Name IN (SELECT Name FROM dbo.Member GROUP BY Name HAVING COUNT(Name)>1 ) ORDER BY t.Name
 
查询结果：
 
 
(2)查询某一列不重复的记录
 
语句：
 
SELECT * FROM dbo.Member WHERE ID  IN (SELECT MIN(ID) FROM dbo.Member GROUP BY Name)
 
查询结果：
 
 
(3)清除某一列重复的数据
 
语句：
 
 DELETE FROM dbo.Member WHERE ID NOT IN (SELECT MIN(ID) FROM dbo.Member GROUP BY Name)
 
执行结果：
 
 
解释：上面的例子只保存了各自Name的最小值。
 
二，DISTINCT 的用法
 
温馨提醒：
不支持多列统计
Oracle和DB2数据库也适用
 
利用distinct关键字返回唯一不同的值
 
(1)查询某一列不重复数据
 
语句：
 
 SELECT DISTINCT Name FROM dbo.Member
 
结果集：
 
 
(2)DISTINCT 查询多列不重复（如果查询的列有任何一个不重复，则这条记录视为不重复）
 
语句：
 
SELECT DISTINCT Name,Uid FROM dbo.Member
 
查询结果
 
 
DISTINCT 用于统计

语句
 
 SELECT COUNT(DISTINCT(Name)) FROM dbo.Member
 
 二、多列重复
 
 
 
数据表结构
 
 
查找Original_ID和Match_ID这两列值重复的行
 
SQL语句
 
SELECT m.* FROM dbo.Match m,(
SELECT Original_ID,Match_ID
FROM dbo.Match 
GROUP BY Original_ID,Match_ID
HAVING COUNT(1)>1

) AS m1
WHERE m.Original_ID=m1.Original_ID AND m.Match_ID=m1.Match_ID
 
 
 
查询结果