目录

缺失值产生的原因

机械原因:由于机械原因导致的数据收集或保存的失败造成的数据缺失，如收集车流量数据的地感线圈损坏等

人为原因:由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据等

完全变量与不完全变量

数据集中不含缺失值的变量(属性)称为完全变量，数据集中含有缺失值的变量称为不完全变量

缺失值的类型

完全随机缺失(Missing Completely at Random, MCAR)。数据的缺失与不完全变量以及完全变量都是无关的，比如家庭地址的缺失

随机缺失(Missing at Random, MAR)。数据的缺失仅仅依赖于完全变量，例如财务数据缺失情况与企业大小有关

非随机,不可忽略缺失(Not Missing atRandom,NMAR, or nonignorable)。不完全变量中数据的缺失依赖于不完全变量本身，这种缺失是不可忽略的，比如高收入人群不愿意提供他们的收入数据

缺失值的处理方法

直接删除法

填充法

K最近距离邻法(K-means clustering)

多重填补(Multiple Imputation，MI)

直接删除法

直接删除含有缺失值的数据项，当含有缺失值的数据项只占总体数据量很小的一部分时效果最好

填充法

手动填充法(filling manually)：在数据量较小的情况下可能是最好的方法，因为一般来说数据所有者对各列数据的含义更加清楚，手动填充后效果更好，但是在数据量较大时无法操作

特殊值填写(Treating Missing Attribute values as Special values)：将空值作为一种特殊的值来处理，比如R语言中的NA，python中的None,操作简单方便，但是可能对预测结果造成一定的影响，不推荐使用

平均值填充(Mean/Mode Completer):将信息表中的属性分为数值属性和非数值属性来分别进行处理。如果空值是数值型的，就根据该属性在其他所有对象的取值的平均值来填充该缺失的属性值；如果空值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值

K最近距离邻法(K-means clustering)

先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据

多重填补(Multiple Imputation，MI)

多重插补方法分为三个步骤：①为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。②每个插补数据集合都用针对完整数据集的统计方法进行统计分析。③对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。

缺失值处理的类库

sklearn中关于缺失值的处理类

R语言通过mice包应用多重插补的步骤

代码实现

直接删除法(Drop Columns with Missing Values)

cols_with_missing = [col for col in X_train.columns if X_train[col].isnull().any()]

# Drop columns in training and validation data

reduced_X_train = X_train.drop(cols_with_missing, axis=1)

reduced_X_valid = X_valid.drop(cols_with_missing, axis=1)

填充法(Filling method)

# Imputation

# use SimpleImputer to replace missing values with the mean value along each column.

my_imputer = SimpleImputer()

imputed_X_train = pd.DataFrame(my_imputer.fit_transform(X_train))

imputed_X_valid = pd.DataFrame(my_imputer.transform(X_valid))

# Imputation removed column names; put them back

imputed_X_train.columns = X_train.columns

imputed_X_valid.columns = X_valid.columns

K最近距离邻法(K-means clustering)

imputer = KNNImputer(n_neighbors=2, weights="uniform")

Imputed_X = imputer.fit_transform(X)

多重填补(Multiple Imputation，MI)

#R语言：基于mice包的分析通常分析过程：

library(mice)

imp

fit

pooled

summary(pooled)

参考资料

importpandas as pdimportnumpy as npfrom sklearn.preprocessing importImputer#生成缺失数据

df = pd.DataFrame(np.random.randn(6,4),columns=['col1','col2','col3','col4'])

df.iloc[1:2,1] =np.nan

df.iloc[4,3] =np.nanprint(df)#查看哪些数据缺失

nan_all = df.isnull()#获得数据框中的NA值

print(nan_all)#查看哪些列缺失

nan_col1 = df.isnull().any()#获得含有NA的列

nan_col2 = df.isnull().all()#获得全部为NA的列

print(nan_col1)print(nan_col2)#丢弃缺失值

df2 =df.dropna()print(df2)#使用sklearn将缺失值换成特定值

nan_model = Imputer(missing_value='NaN',strategy='mean',axis=0)#建立替换规则：将值为Nan的缺失值用均值做替换

nan_result = nan_model.fit_transform(df)#应用模型规则

print(nan_result)#使用pandas将缺失值换为特定值

nan_result_pd1 = df.fillna(method='backfill')#用后面的值替换缺失值

nan_result_pd2 = df.fillna(method='bfill',limit=1)#用后面的值替换缺失值，限制每列只能替换一个缺失值

nan_result_pd3 = df.fillna(method='pad')#用前面的值替换缺失值

nan_result_pd4 = df.fillna(0)#用0替换缺失值

nan_result_pd5 = df.fillna({'col2':1.1,'col4':1.2})#用不同值替换不同列的缺失值

nan_result_pd6 = df.fillna(df.mean()['col2':'col4'])#用平均值代替，选择各自列的均值替换缺失值#打印输出

print(nan_result_pd1)print(nan_result_pd2)print(nan_result_pd3)print(nan_result_pd4)print(nan_result_pd5)print(nan_result_pd6)

import pandas as pd

import numpy as np

from sklearn.preprocessing import Imputer

#生成缺失数据

df = pd.DataFrame(np.random.randn(6,4),columns=['col1','col2','col3','col4'])

df.iloc[1:2,1] = np.nan

df.iloc[4,3] = np.nan

print(df)

#查看哪些数据缺失

nan_all = df.isnull()#获得数据框中的NA值

print(nan_all)

#查看哪些列缺失

nan_col1 = df.isnull().any()#获得含有NA的列

nan_col2 = df.isnull().all()#获得全部为NA的列

print(nan_col1)

print(nan_col2)

#丢弃缺失值

df2 = df.dropna()

print(df2)

#使用sklearn将缺失值换成特定值

nan_model = Imputer(missing_value='NaN',strategy='mean',axis=0)#建立替换规则：将值为Nan的缺失值用均值做替换

nan_result = nan_model.fit_transform(df)#应用模型规则

print(nan_result)

#使用pandas将缺失值换为特定值

nan_result_pd1 = df.fillna(method='backfill')#用后面的值替换缺失值

nan_result_pd2 = df.fillna(method='bfill',limit=1)#用后面的值替换缺失值，限制每列只能替换一个缺失值

nan_result_pd3 = df.fillna(method='pad')#用前面的值替换缺失值

nan_result_pd4 = df.fillna(0)#用0替换缺失值

nan_result_pd5 = df.fillna({'col2':1.1,'col4':1.2})#用不同值替换不同列的缺失值

nan_result_pd6 = df.fillna(df.mean()['col2':'col4'])#用平均值代替，选择各自列的均值替换缺失值

#打印输出

print(nan_result_pd1)

print(nan_result_pd2)

print(nan_result_pd3)

print(nan_result_pd4)

print(nan_result_pd5)

print(nan_result_pd6)

第3章 5：缺失值

这次是用激励数据，没有获得激励的人，业绩和金额方有缺失值，以下为几种处理方法：

-- 发现缺失值：isnull/notnull

-- 处理缺失值：dropna/fillna

保存名称为：01 缺失值.py

import pymysql

import pandas as pd

from sqlalchemy import create_engine

sql = "select * from jili"

engine = create_engine('mysql+pymysql://root:123456@192.168.200.200/xiaom')

df = pd.read_sql(sql,engine,)

RangeIndex: 42 entries, 0 to 41

Data columns (total 10 columns):

dep 42 non-null object #总共有42行

group 42 non-null object

name 42 non-null object

oldpro 26 non-null float64 #以下每列均有缺失值

newpro 33 non-null float64

oldrate 27 non-null float64

newrate 27 non-null float64

oldbones 24 non-null float64

newbones 26 non-null float64

allbones 27 non-null float64

dtypes: float64(7), object(3)

memory usage: 3.4+ KB

- 发现缺失值：

df.isnull返回的是布尔值，False表示非空值

df.notnull返回布尔值，False表示空值

- 处理缺失值

有删除(dropna)、填充(fillna)两种方法

- 删除：dropna()

df.dropna() #删除包含na的整行。

df.dropna(how = 'all')

# how是方法：如果为any，则表示包含空值的行，如果为all则表示删除整行均为空值的行。

df.dropna(axis = 'columns') #会删除包含空值的列，返回的结果是前3列均不为空值的列。

df.dropna(axis = 'rows',thresh = 8) #表示每行最少有8个非空值

- 填充：fillna

df.fillna(0).head() #填充缺失值：用0 填充

df.fillna(df.mean()).round(2).head() # 用均值填充，保留2位小数

df.fillna(method='ffill').head() #用前一个数填充

df.fillna(menthod = 'bfill').head() #用后一个数据填充

--下面是对错行数据的处理

之前导入sogou数据的时候，有错行的，现在要删除错行的数据：'01 搜狗 错行数据.py'

在转换rank和number列为int格式的时候报错，发现是有的关键词到rank列了，所以rank列有字符的内容，经过简单考虑，准备删除这些错行的。

先找到错行的，就是筛选字符长度大于3位的

- 强制转换为int

然后强制转换为int，再删除没有转换成功，即为空值的行

#没发现of，强制转换为数字.coerce是强制的意思，ignore是忽略

pd.to_numeric(sogou['rank'],errors='coerce')

pd.to_numeric(sogou['number'],errors='coerce')

#也可以用下面的方法一行搞定：

sogou[['rank','number']] = sogou[['rank','number']].apply(pd.to_numeric,errors='coerce')

- 删除rank为空的行

#删除这些错误值，如果用spark就不用处理这么久的数据了?

sogou.dropna(subset=['rank'],inplace=True)

sogou.info()

>>>Out：

Int64Index: 823818 entries, 0 to 825118

Data columns (total 6 columns):

date 823818 non-null datetime64[ns]

userid 823818 non-null object

words 823818 non-null object

rank 823818 non-null float64

number 823818 non-null float64

url 823818 non-null object

dtypes: datetime64[ns](1), float64(2), object(3)

memory usage: 44.0+ MB

- 保存csv

#保存为新的csv：

sogou.to_csv('sogoudayclear.csv',index = False)