缺失值处理

信息系统往往是不完备的，经常会有数据缺失。产生数据缺失一般有两种原因，第一种是有些信息暂时无法获取，例如一个单身人士的配偶或者一个儿童的收入等；第二种是有些信息被遗漏或者错误的被处理了。

数据缺失是不可避免的，我们经常要做缺失数据的处理，处理缺失数据通常有三种方法：
1、第一种是不处理，例如单身人士的配偶，不存在是很正常的。
2、第二种是删除缺失值所对应的行，这种方法在样本数据较少时，谨慎使用。
3、第三种是数据补齐，使用规则或模型，对缺失的数据进行补齐。

下面使用代码一一实现这三种方法：
示例数据：

数据中“年龄”和“工资”两列分别有一个缺失值。

删除缺失值所在的行：

操作非常简单，直接使用DataFrame模块中的dropna函数即可。

import pandas as pd 
data = pd.read_csv(
    '../form/缺失值.csv')
#直接删除缺失值
dropNaData = data.dropna()

执行代码，可以得到删除后的数据：

均值/众数/中值填充

在sklearn模块中，使用Imputer函数对数据中的缺失值进行填充。

sklearn.preprocessing.Imputer(strategy = ‘mean’)

from sklearn.impute import SimpleImputer
#使用均值填充缺失值
simpleImputer = SimpleImputer(strategy = 'mean')
data['年龄_imputer'] = simpleImputer.fit_transform(data[['年龄']])
data['工资_imputer'] = simpleImputer.fit_transform(data[['工资']])     

执行代码，可以得到填充后的数据：

模型填充

训练模型使用有监督的方式填充缺失值

步骤：
1、确定要填充哪列的缺失值

2、把要处理的列作为目标列，其他列作为特征列。清除特征列中的缺失值

3、把目标列中的缺失值过滤出来，作为预测数据，其他数据作为训练数据进行建模

4、对训练数据进行特征处理

5、训练模型，对缺失值进行预测

下面按照步骤对年龄进行填充。

#先处理年龄的缺失值
data_predict_年龄 = data.dropna(subset = ['工资'])
#找出剩下数据中，年龄缺失值所在位置
NA_index = data_predict_年龄.年龄.isna()
#获取训练数据和预测数据
data_predict_年龄_fit = data_predict_年龄[~NA_index]
data_predict_年龄_predict = data_predict_年龄[NA_index]

开始进行线性回归建模

from sklearn.preprocessing import OneHotEncoder 
#对训练数据进行特征处理
oneHotEncoder = OneHotEncoder()
oneHotData_fit = oneHotEncoder.fit_transform(
    data_predict_年龄_fit[['国家','购买']])

将独热编码所得的数据和工资数据进行合并
独热编码

from scipy.sparse import hstack
x_fit = hstack([
    oneHotData_fit,
    data_predict_年龄_fit.工资.values.reshape(-1,1)])
y_fit = data_predict_年龄_fit['年龄']

训练线性回归模型，对缺失值进行预测

from sklearn.linear_model import LinearRegression
linearRegression = LinearRegression()
linearRegression.fit(x_fit,y_fit)
#处理要预测的数据的特征
oneHotData_predict = oneHotEncoder.transform(
    data_predict_年龄_predict[['国家','购买']])

x_predict = hstack([
    oneHotData_predict,
    data_predict_年龄_predict.工资.values.reshape(-1,1)
])
#预测缺失值
linearRegression.predict(x_predict)

执行代码，可以看到，通过模型预测的年龄缺失值为31.65，而通过均值填充的年龄缺失值为38.78，很明显模型预测的年龄缺失值更加合理，但是工作量比较大。

概述

机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但又不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。

缺失值的常用处理方式

• 删除：数据缺失量比较少，删除后对模型的结果几乎不会造成影响；与模型准确性几乎无关的属性
• 填充
  • 均值
  • 众数
  • 中位数
  • 0
  • 随机森林

sklearn中缺失值填充模块

对pandas熟悉的可用使用pandas来进行缺失值的填充，详情见我的pandas笔记，这里主要将sklearn中对缺失值处理的相关方法。本次使用的数据为kaggle上泰坦尼克幸存者数据集，原始数据下载地址，也可以在我的数据集下载地址获得同样的数据
sklearn中impute模块的SimpleImputer类专门用来进行缺失值的简单填充，它包含四个重要参数

缺失值填充示例

准备工作

导入相关模块，读取数据集

# 导入相关模块
from sklearn.impute import SimpleImputer
import numpy as np
import pandas as pd

# 数据路径，自己本地的文件路径
file_name = "../../data/titanic/train.csv"

# 加载数据集
df = pd.read_csv(file_name)
df.head()

# 删除不必要的列
df.drop(['Name', 'Ticket', 'Cabin'], inplace=True, axis=1)
df.head()

查看原始数据的信息

df.info()
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 9 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Fare           891 non-null float64
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(2)
memory usage: 62.8+ KB
'''

原始数据共891条记录，其中Age属性缺失接近200个数据，占比达到了20%左右，这是一个很巨大的占比了，已经不能简单的删除缺失值操作了，如果删除了这个属性，样本数据会变小很多，那么训练出来的模型将会获得一个不好的表现。所以这里需要对Age属性进行缺失值填充。Embarked属性缺失两个，占比相当小，这种情况可用直接删除即可，这里只考虑对Age的填充，可用使用 的方法由pandas填补缺失值，详见我的pandas笔记，下面主要介绍用sklearn.impute模块的SimpleImputer类进行填充缺失值。
注意点：使用sklearn中的方法时，要求输入的数据必须是二维的，所以需要对单特征列进行reshape操作

0填充

# 用0填充年龄的缺失值
df0 = df.copy() # 复制原数据，避免原数据被覆盖

# 实例化
impute_0 = SimpleImputer(strategy='constant', fill_value=0)

# 去除Age属性的原始数据，并通过values转化为一维数组，在通过reshape变为二维数组
# 因为sklearn中传到数据必须是二维的
raw_data = df0['Age'].values.reshape(-1, 1)

# fit_transform()一步到位，返回填充后的数据
new_data = impute_0.fit_transform(raw_data)

# 用新数据替换原数据
df0['Age'] = new_data
df0.head(10)

均值填充

# 用均值填充年龄的缺失值
df_mean = df.copy()
impute_mean = SimpleImputer()
raw_data = df_mean['Age'].values.reshape(-1, 1)
new_data = impute_mean.fit_transform(raw_data)
df_mean['Age'] = new_data
df_mean.head(10)

众数填充

# 用众数填充年龄缺失值
df_mode = df.copy()
impute_mode = SimpleImputer(strategy='most_frequent')
raw_data = df_mode['Age'].values.reshape(-1, 1)
new_data = impute_mode.fit_transform(raw_data)
df_mode['Age'] = new_data
df_mode.head(10)

中位数填充

# 用中位数填充年龄缺失值
df_median = df.copy()
impute_median = SimpleImputer(strategy='median')
raw_data = df_median['Age'].values.reshape(-1, 1)
new_data = impute_median.fit_transform(raw_data)
df_median['Age'] = new_data
df_median.head(10)

随机森林填充

见用随机森林填充缺失值

总结

具体用哪一种填充方式看个人和具体的数据情况，只要达到目的都是好的。大多数情况下先考虑常规的填充方法(0，均值，中位数，众数)，当这些方法用了之后发现鲜果不明显，但是又不能将缺失值删除的情况下九月考虑用随机森林等方式来填充缺失值。

一、任务描述

背景故事：

泰坦尼克号（RMS Titanic），又译作铁达尼号，是英国白星航运公司下辖的一艘奥林匹克级游轮，排水量46000吨，于1909年3月31日在北爱尔兰贝尔法斯特港的哈兰德与沃尔夫造船厂动工建造，1911年5月31日下水，1912年4月2日完工试航。泰坦尼克号是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉 。然而不幸的是，在它的处女航中，泰坦尼克号便遭厄运——它从英国南安普敦出发，途经法国瑟堡-奥克特维尔以及爱尔兰科夫(Cobh)，驶向美国纽约。1912年4月14日23时40分左右，泰坦尼克号与一座冰山相撞，造成右舷船艏至船中部破裂，五间水密舱进水。4月15日凌晨2时20分左右，泰坦尼克船体断裂成两截后沉入大西洋底3700米处。2224名船员及乘客中，1517人丧生，其中仅333具罹难者遗体被寻回。泰坦尼克号沉没事故为和平时期死伤人数最为惨重的一次海难，其残骸直至1985年才被再度发现，目前受到联合国教育、科学及文化组织的保护。

泰坦尼克号的沉没是历史上著名的海难事件，当时登船乘客数以千计。他们的个人信息各不相同，生还罹难遭遇各异。虽然，人们对他们的遭遇表示不幸，但是这个灾难也给数据分析和预测提供了比较丰富的数据样品。

数据集中有部分缺失值，通过不同的方法进行填充

二、数据集分析

数据集来自Kaggle网站，网址为：https://www.kaggle.com/c/titanic

数据集中有12个特征，其中Survived是目标值，其余各个特征代表的意思：

• PassengerId ： 乘客ID，这个是自动生成的
• Pclass ： 乘客等级(1/2/3等舱位)
• Name ： 乘客姓名
• Sex ： 性别
• Age ： 年龄
• SibSp ： 堂兄弟/妹个数
• Parch ： 父母与小孩个数
• Ticket ： 船票信息
• Fare ： 票价
• Cabin ： 客舱
• Embarked ： 登船港口

三、代码实现

import pandas as pd   # 数据分析，组织表格的形式
import numpy as np
import matplotlib.pyplot as plt
from sklearn import neighbors

data = pd.read_csv('train.csv')
print(data.info())
print(data.head())  

# 缺失值的识别
# 判断各变量中是否存在缺失值
print(data.isnull().any(axis=0))
# 各变量中缺失值的数量
print(data.isnull().sum(axis=0))
# 各变量中缺失值的比例
print(data.isnull().sum(axis = 0)/data.shape[0])

# 缺失值的处理方法
# 方法1：删除法
# 删除无效列，drop默认删除行，列需要加axis=1
# 删除缺失严重的Cabin变量
data.drop(labels='Cabin',axis=1,inplace=True)
# 删除无关紧要的变量
data.drop(['PassengerId','Ticket','Name'],axis=1,inplace=True)
print(data.info())
print(data.head())   
# 删除缺失行，根据Embarked变量，删除对应的缺失行
data.dropna(subset=['Embarked'], inplace=True)

#print(data.isnull().sum())  #打印各个特征值的空值总和

# 方法2：替换法，中位数，均值，众数等
'''
print(data.Age)
# 利用所有人年龄的中位数来填补 年龄数据中的缺失值
print(data.Age.describe())
print("年龄的中位数是：",data.Age.median())
print("年龄的均值是：",data.Age.mean())
age_median = data.Age.median()
data.Age.fillna(age_median,inplace=True)
print(data.Age.describe())
print(data.Age)
print(data.info())
'''

# 方法3：插补法，需要用到机器学习算法
# 将字符型的性别变量映射为数值变量
data.Sex = data.Sex.map({'male':1,'female':0})
data.drop(labels='Embarked',axis=1,inplace=True)
print(data)

# 将数据拆分为两组，一是年龄缺失组，二是年龄非缺失组，
missing = data.loc[data.Age.isnull(),]
nomissing = data.loc[~data.Age.isnull(),]
print(missing)
print(nomissing)

# 基于非缺失值构建KNN（K近邻回归）模型，再对缺失组做预测
# 提取出所有的自变量
X = nomissing.columns[nomissing.columns != 'Age']
# 构建模型,K近邻（回归）模型
knn = neighbors.KNeighborsRegressor()
# 模型拟合
knn.fit(nomissing[X], nomissing.Age)
# 年龄预测
pred_age = knn.predict(missing[X])
print(pred_age)
# missing['Age'] = pred_age
data.loc[data.Age.isnull(),'Age'] = pred_age
print(data)

四、重点讲解

1、对于缺失值的处理，归纳为三种方法：

方法一：删除法

该方法通常用来删除缺失值较多，且对最终预测结果影响不大的特征；或者删除缺失值较少的特征所对应的样本，删除少量的样本也并不会影响最终的预测结果。

方法二：替换法

该方法常常通过统计信息，利用需要填充的特征已有的数据，计算中位数、平均数、众数等，选择其一填充进所有的缺失值，缺失值填充的值一致。

方法三：插补法

该方法需要利用回归算法推断出该条样本特定特征最大可能的取值，也就是使用了最有可能的值来填充缺失值，每个缺失值不一定相同，准确性更高。

2、pandas：

• pandas是一个强大的分析结构化数据的工具集
• 它的使用基础是Numpy（提供高性能的矩阵运算）
• 用于数据挖掘和数据分析，同时也提供数据清洗功能

Pandas中常见的数据结构有两种：

• Pandas Series：
  • Pandas series 是像数组一样的一维对象，可以存储很多类型的数据。Pandas series 和 Numpy array之间的主要区别之一是你可以为Pandas series 中的每个元素分配索引标签；另一个区别是Pandas series 可以同时存储不同类型的数据。

• Pandas DataFrame:

  • ​​​​​​​​​​​​​​Pandas DataFrame 是具有带标签的行和列的二维数据结构，可以存储多种类型的数据，类似于电子表格。