不妥之处，欢迎评论指出。
 
缺失值填充这回事我们第一能想到的就是使用0进行填充，但是如果是年龄的话直接使用0进行填充就有点不太靠谱了，那么怎么办呢？
 
情况一：全样本均值填充
 
如果整个样本群体的年龄方差不大，比如整个样本来源于初中生，年龄在13-15岁之间，那么直接使用全样本的均值填充即可。
 
情况二：分类样本均值填充
 
但是真实情况往往不会这么美好，哪怕是初中生也会有急着早读书的学生和可怜巴巴的留级生，再加上各个地区的入学年龄并不统一，那么年龄区间一下子就会被拉大到11-16，这时候全体均值就不是那么管用了。
 
为了消除地区的影响，我们可以分地区进行均值计算，然后使用与样本同地区的均值进行填充。在入学的场景中我们需要考虑的地区粒度是城市，那么如果是生活习惯类的场景，我们可以考虑省份，又或者是大区（华东、华南之类的）。
 
同理在其他的分析场景中，我们还可以考虑分性别、分职业等等…
 还可以考虑使用多个因素叠加分类之后再计算均值进行填充。
 
条条大路通罗马，管用就行。

 
文章目录
 
创建数据
判断是否有缺失值及统计
删除含有缺失值的行、列
缺失值补充
缺失值替换
     
    
   
  
 

 
创建数据
 
import pandas as pd
import numpy as np
data = pd.DataFrame({'a': [1, 2, 4, np.nan,7, 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan, 0, 4, np.nan, np.nan, 5], 'd': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})
     a    b    c   d
0  1.0    a  NaN NaN
1  2.0    b  0.0 NaN
2  4.0  NaN  4.0 NaN
3  NaN  NaN  NaN NaN
4  7.0    d  NaN NaN
5  9.0    e  5.0 NaN
 
判断是否有缺失值及统计
 
print(data.isnull().any())

a    True
b    True
c    True
d    True

print(data.isnull().sum())  #t统计每一列的缺失值个数
a    1
b    2
c    3
d    6
 
删除含有缺失值的行、列
 
 
 
axis 参数用于控制行或列，跟其他不一样的是，axis=0 （默认）表示操作行，axis=1 表示操作列。
 how 参数可选的值为 any（默认） 或者 all。any 表示一行/列有任意元素为空时即丢弃，all 一行/列所有值都为空时才丢弃。
 subset 参数表示删除时只考虑的索引或列名。
 thresh参数的类型为整数，它的作用是，比如 thresh=3，会在一行/列中至少有 3 个非空值时将其保留。
 
 
df = data.dropna(axis=0,how='all')  #data不会改变
print(df)
  a    b    c   d
0  1.0    a  NaN NaN
1  2.0    b  0.0 NaN
2  4.0  NaN  4.0 NaN
4  7.0    d  NaN NaN
5  9.0    e  5.0 NaN

df = data.dropna(axis=0,how='any')  #data不会改变
print(df)
out:
Empty DataFrame
Columns: [a, b, c, d]
Index: []

df = data.dropna(axis=0,how='any',subset=["b"]) #subset 只考虑的行或列
print(df)
 
对列操作将axis换为1
 
缺失值补充
 
最常见的是使用 fillna 完成填充。
 data.fillna(0)
 
 
 
除了可以使用标量来填充之外，还可以使用前一个或后一个有效值来填充。
 设置参数 method=‘pad’ 或 method=‘ffill’ 可以使用前一个有效值来填充。
 设置参数 method=‘bfill’ 或 method=‘backfill’ 可以使用后一个有效值来填充。
 
 
除了通过 fillna 方法来填充缺失值外，还可以通过 interpolate 方法来填充。默认情况下使用线性差值，可以是设置 method 参数来改变方式。
 
缺失值替换
 
None、np.nan、NaT 这些都是缺失值。这些在 Pandas 的眼中是缺失值，有时候在我们人类的眼中，某些异常值我们也会当做缺失值来处理。
 
例如，在我们的存储的用户信息中，假定我们限定用户都是青年，出现了年龄为 40 的，我们就可以认为这是一个异常值。再比如，我们都知道性别分为男性（male）和女性（female），在记录用户性别的时候，对于未知的用户性别都记为了 “unknown”,很明显，我们也可以认为“unknown”是缺失值。此外，有的时候会出现空白字符串，这些也可以认为是缺失值。
 
对于上面的这种情况，我们可以使用 replace 方法来替换缺失值。
 
 
 
user_info.replace({“age”: 40, “birth”: pd.Timestamp(“1978-08-08”)}, np.nan) #将年龄40替换 日期为1978-08-08也替换
 
 
也可采用正则表达式替换
 user_info.city.replace(r’\s+’, np.nan, regex=True)
 
参考：https://blog.csdn.net/caowenyi88/article/details/80865551

1,缺失值查看 df.isnull().sum()
 输出dataFrame中每一列缺失值数量
 
2, 删除缺失值 df.dropna()
 默认删除含有缺失值的行，即只要该行有缺失值就把这一行删除，返回删除后的数据
 df.dropna(how=‘all’)
 只删除一整行都为空值的行，不全为空值的行不会被删除
 
3，缺失值填充 df.fillna()
 （1）可以用哪些值填充呢？
 0，均值，众数，向前填充（缺失值的前一个非缺失值），向后填充（缺失值的后一个非缺失值）
 (2) 填充方式
 df.fillna(0) ，所有缺失值都用0填充
 df.fillna({‘年龄’:‘40’})， 只对‘年龄’这一列缺失值填充，且均为40
 df.fillna({‘年龄’:‘40’,‘城市’:‘上海’})，同时对多列填充不同的值

直接用代码来展示[基于泰坦尼克数据]
 
真实数据往往某些变量会有缺失值。
这里，cabin有超过70%以上的缺失值，我们可以考虑直接丢掉这个变量。 – 删除某一列数据
像Age这样的重要变量，有20%左右的缺失值，我们可以考虑用中位值来填补。-- 填补缺失值
我们一般不提倡去掉带有缺失值的行，因为其他非缺失的变量可能提供有用的信息。-- 删除带缺失值的行
 
普通的方法（直接根据所需要的值来进行填充）
 
# 重新载入原始数据
titanic_df=pd.read_csv("titanic.csv")

# 计算所有人年龄的均值
age_median1 = titanic_df.Age.median()

# 使用fillna填充缺失值，inplace=True表示在原数据titanic_df上直接进行修改
titanic_df.Age.fillna(age_median1, inplace=True)

# 查看Age列的统计值
titanic_df.Age.describe()
 
考虑性别因素，分别用男女乘客各自年龄的中位数来填补(需要建立索引)
 
titanic_df = pd.read_csv("titanic.csv")
# 分组计算男女年龄的中位数， 得到一个Series数据，索引为Sex
age_median2 = titanic_df.groupby("Sex").Age.median()
# 设置索引为Sex
titanic_df.set_index("Sex",inplace=True)
# 使用fillna填充缺失值，根据索引值填充
titanic_df["Age"].fillna(age_median2,inplace=True)
# 重置索引，即取消Sex索引
titanic_df.reset_index(inplace=True)
titanic_df["Age"].describe()
 
同时考虑性别和舱位因素
 
# 重新载入原始数据
titanic_df=pd.read_csv("titanic.csv")

# 分组计算不同舱位男女年龄的中位数， 得到一个Series数据，索引为Pclass,Sex
age_median3 = titanic_df.groupby(['Pclass', 'Sex']).Age.median()

# 设置Pclass, Sex为索引， inplace=True表示在原数据titanic_df上直接进行修改
titanic_df.set_index(['Pclass','Sex'], inplace=True)
# 使用fillna填充缺失值，根据索引值填充
titanic_df.Age.fillna(age_median3, inplace=True)
# 重置索引，即取消Pclass,Sex索引
titanic_df.reset_index(inplace=True)

# 查看Age列的统计值
titanic_df.Age.describe()