重复值处理

• 数据清洗一般先从重复值和缺失值开始处理
• 重复值一般采取删除法来处理
• 但有些重复值不能删除，例如订单明细数据或交易明细数据等

import pandas as pd
import numpy as np
import os

os.getcwd()

'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之数据预处理'

os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据')

df = pd.read_csv('MotorcycleData.csv', encoding='gbk', na_values='Na')

df.head(5)

5 rows × 22 columns

def f(x):
    if '$' in str(x):
        x = str(x).strip('$')
        x = str(x).replace(',', '')
    else:
        x = str(x).replace(',', '')
    return float(x)

df['Price'] = df['Price'].apply(f)

df['Mileage'] = df['Mileage'].apply(f)

df.head(5)

5 rows × 22 columns

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7493 entries, 0 to 7492
Data columns (total 22 columns):
Condition         7493 non-null object
Condition_Desc    1656 non-null object
Price             7493 non-null float64
Location          7491 non-null object
Model_Year        7489 non-null float64
Mileage           7467 non-null float64
Exterior_Color    6778 non-null object
Make              7489 non-null object
Warranty          5108 non-null object
Model             7370 non-null object
Sub_Model         2426 non-null object
Type              6011 non-null object
Vehicle_Title     268 non-null object
OBO               7427 non-null object
Feedback_Perc     6611 non-null object
Watch_Count       3517 non-null object
N_Reviews         7487 non-null object
Seller_Status     6868 non-null object
Vehicle_Tile      7439 non-null object
Auction           7476 non-null object
Buy_Now           7256 non-null object
Bid_Count         2190 non-null float64
dtypes: float64(4), object(18)
memory usage: 1.3+ MB

any(df.duplicated())

True

# 显示重复数据
# df[df.duplicated()] 

# 统计重复数据
np.sum(df.duplicated())

1221

# 删除重复值
df.drop_duplicates(inplace=True)

df.columns

Index(['Condition', 'Condition_Desc', 'Price', 'Location', 'Model_Year',
       'Mileage', 'Exterior_Color', 'Make', 'Warranty', 'Model', 'Sub_Model',
       'Type', 'Vehicle_Title', 'OBO', 'Feedback_Perc', 'Watch_Count',
       'N_Reviews', 'Seller_Status', 'Vehicle_Tile', 'Auction', 'Buy_Now',
       'Bid_Count'],
      dtype='object')

# 根据指定变量判断重复值
df.drop_duplicates(subset=['Condition', 'Condition_Desc', 'Price', 'Location'], inplace=True)

# 重复已经被删除
np.sum(df.duplicated())

0

目录

0、前言

1、重复值的识别

1.1 DataFrame识别重复值-duplicated()

1.2 Serier识别重复值-is_unique

 2、统计重复行的数量-duplicated().sum()

 3、重复值的处理

0、前言

在实际数据采集、数据处理和数据分析中，经常会遇到的一个问题就是：重复数据。重复数据在进行数据分析或数据挖掘的过程中，对其输出结果有重要的影响。比如，在逻辑回归分析中，重复数据会影响模型的拟合优度；数据分析中，重复数据会影响预测内容准确性。所以，处理重复值数据有着重要的意义和作用。

1、重复值的识别

1.1 DataFrame识别重复值-duplicated()

data.duplicated()
data.duplicated("sex")

1.2 Serier识别重复值-is_unique

import pandas as pd
s = pd.Series(range(5),index=['a','a','b','b','c'])
s.index.is_unique

 2、统计重复行的数量-duplicated().sum()

data.duplicated().sum()

 3、重复值的处理

数据去重是处理重复值的主要方法，但如下几种情况慎重去重：

（1）样本不均衡时，故意重复采样的数据；

（2）分类模型，某个分类训练数据过少，可以采取简单复制样本的方法来增加样本数量

重复记录用户检测业务规则问题

（3）事务型数据，尤其与钱相关的业务场景下出现重复数据时，如重复订单，重复出库申请

data.drop_duplicates()
data.drop_duplicates(["age"]) #删除数据中指定列值相同的记录

系列文章目录

Python数据分析入门笔记1——学习前的准备
Python数据分析入门笔记2——pandas数据读取
Python数据分析入门笔记3——数据预处理之缺失值

前言

pandas可以用isnull()，isna()，notnull()和notna()四个方法来检测缺失值。
若要直观地统计表中各列的缺失率，可以用自定义函数或者missingno库来实现。

1. 如果缺失数据只有个别几个，可以直接用dropna()方法按行删除；

例如：要从一个DataFrame中，删掉列1内容为NaN或者列2内容为NaN的行，并且删除后覆盖更新原数据
DataFrame名称.dropna(axis=0, subset=[‘列1’,‘列2’], inplace=True)

2. 如果这一列80%以上数据都缺失，可以考虑用drop()方法直接删除这一列；

例如：要从一个DataFrame中，列1和列2中缺失了绝大部分数据，那么可以用axis=1来代表删除列
DataFrame名称.drop(axis=1, subset=[‘列1’,‘列2’])

3. 如果缺失数据的这列，数据不是时间序列类型，那可以直接用默认值或者统计值来填充；

例如：将这个DataFrame对象中的所有缺失值都填充为缺失值前面的值。
DataFrame名称.fillna(method=‘ffill’)

4. 如果缺失数据的这一列是时间序列类型，通常用线性插补法来插补数据。

例如：结合线性插值法对这个DataFrame对象中的缺失值进行插补。
DataFrame名称.interpolate(method=‘linear’)

一、重复值的检测

pandas中使用duplicated()方法来检测数据中的重复值。检测完数据后会返回一个由布尔值组成的Series类对象，该对象中若包含True，说明该值对应的一行数据为重复项。

DataFrame.duplicated(subset=None, keep=‘first’)

用法如下：

import pandas as pd
import numpy as np 
stu_info=pd.DataFrame({'序号':['S1','S2','S3','S4','S4'],
                '姓名':['张三','李四','王五','赵六','赵六'],
                '性别':['男','男','女','男','男'],
                '年龄':[15,16,15,14,14],
                '住址':['苏州','南京',np.nan,np.nan,np.nan]})
# 检测stu_info对象中的重复值
stu_info.duplicated()

原始数据：

输出结果：

对比两次结果，我们能发现，行索引号为4的数据和行索引号为3的数据完全相同，所以我们调用duplicated()方法会默认保留第一次出现的数据，将后面出现的重复值标记为True。

若想筛选出重复值标记为True的所有数据，可以用如下代码：

# 筛选stu_info中重复值标记为True的数据记录
stu_info[stu_info.duplicated()]

运行结果如下：

二、重复值的处理

对于重复值，pandas中一般使用drop_duplicates()方法删除重复值。

DataFrame.drop_duplicates(subset=None, keep=‘first’, inplace=False, ignore_index=False)

参数说明：

用法如下：

# 删除stu_info对象中的重复值
stu_info.drop_duplicates()

执行结果：

我们可以看出，行索引为4的一行数据被删除了。

总结

重复值的检测与处理比较简单。