特征工程是数据科学和机器学习流水线上的重要一环，包括识别、清洗、构建和发掘数据的特征，为进一步解释数据并进行预测性分析做准备。

特征工程主要内容：

• 识别和利用不同类型的特征
• 清洗数据中的特征，提升预测能力
• 为何、如何进行特征选择和模型误差分析
• 利用领域知识构建新特征
• 基于数学知识交付特征
• 使用机器学习算法构建特征
• 掌握特征工程与特征优化
• 在现实应用中利用特征工程
• 
  《特征工程入门与实践》涉及特征工程的全流程，从数据检查到可视化，再到转换和进一步处理等，并给出了大量数学工具，帮助掌握如何将数据处理、转换成适当的形式，以便送入计算机和机器学习流水线中进行处理。后半部分的特征工程实践用Python作为示例语言，循序渐进，通俗易懂。
  
  整理的机器学习和特征工程方面的学习电子笔记资料参考：
  https://www.yuque.com/mathpythondata/lw7b5t

非常简洁而有条理，并且示例做的很详细。讲解习题，注释详细，对新手很友好。

        人工智能的发展，让我们将那些需要手动操作才能处理的问题，让计算机也可以解决。例如，自然语言处理、人脸识别和图片分类等。因此，我们需要借助机器学习的知识来构建一个AI系统，从用户那里读取到原始数据，让计算机来帮助我们达到识别的目的。为了解决某个问题，需要收集大量的数据，这些数据都是在实际的情况中自然形成的，往往有杂乱或者不完整的情况。因此，我们需要对原始数据做处理。这就是所谓的特征工程。在日常的工作中80%的时间都用在捕获、清洗和组织数据上，20%的时间用在构造机器学习流水线上。下图展示了不同工作时间的比例。

• 设置训练集：3%
• 清洗和组织数据：60%
• 收集数据集：19%
• 挖掘数据模式：9%
• 调整算法：4%

        准备数据包括捕获数据、存储数据、清洗数据。清洗数据的意思是将数据转换为云系统和数据库可以轻松识别的形式。组织数据是将数据集的格式转换为更干净的格式。我们主要专注于特征工程，着眼于清洗和组织数据的过程，为机器学习流水线所服务。因此，所谓特征工程就是将数据转换为能更好的表示潜在问题的特征，而最终的目的是提高机器学习的性能。下面我们就要了解几个相关的概念。

1. 特征：特征是对机器学习算法有意义的属性，对应表格数据，一列就是一个特征。
2. 响应(标签)：响应也是属性的一个，但是这个属性是我们有希望进行预测的。
3. 监督学习：利用有标签的数据，通过机器学习方法进行预测或者分类的学习过程。
4. 无监督学习：利用无标签数据，通过机器学习算法进行预测或者分类的学习过程。

        我们要做的就是通过特征工程，将杂乱、有问题的数据转化为干净、整洁的数据。这样我们就可以通过机器学习的算法来解决相应的问题。特征工程能提高机器学习的性能。评价一个特征工程的好坏的步骤为：
（1）在应用任何特征工程之前，得到机器学习模型的基准性能。
（2）应用一种或多种特征工程。
（3）对于每种特征工程获取一个性能指标，并与基准性能进行对比。
（4）如果性能增量大于某个阈值，则认为这种特征工程是有益的，可以应用在机器学习流水线上。
        接下来我们将学习以下几部分内容，来深入理解特征工程都在做什么：

• 特征理解
• 特征增强
• 特征选择
• 特征构建
• 特征转换
• 特征学习

        最后，说一下我自己是怎么开始认识到特征工程的重要，在我们的学习中，都是使用一些被处理好的数据来实现我们的模型。并且大多数人都将学习重点放在了模型上。这也造成了很多人都不关心特征工程这部分。直到最近参加了数学建模，选了一道需要特征工程相关知识的题，才感觉到自己对这方面知识的欠缺。最后买了这本书《特征工程入门与实践》。希望学完这本书，可以增加自己对特征工程的了解。

注：本文的内容与图片来源于《特征工程入门与实践》。如有您也想学习相关知识，建议买一本来看。
个人博客.
联系方式：2391855138(加好友请备注)

        特征增强是对数据的进一步修改，我们开始清洗和增强数据。主要涉及的操作有

• 识别数据中的缺失值
• 删除有害数据
• 输入缺失值
• 对数据进行归一化/标准化

1. 识别数据中的缺失值

        特征增强的第一种方法是识别数据的缺失值，可以让我们更好的明白如何使用真是世界中的数据。通常，数据因为一些原因，导致数据缺失，不完整。我们需要做的就是识别出数据中的缺失值。并对缺失值进行处理。本文使用皮马印第安人糖尿病预测数据集。这个数据集包含768行数据点，9列特征。预测21岁以上的女性皮马印第安人5年内是否会患糖尿病。数据每列的含义如下：
（1）怀孕次数
（2）口服葡萄糖耐量实验中的2小时血浆葡萄糖浓度
（3）舒张压
（4）三头肌皮褶厚度
（5）2小时血清胰岛素浓度
（6）体重指数
（7）糖尿病家族函数
（8）年龄
（9）类变量(0或1,代表有无糖尿病)
        首先我们先来了解一下数据

# 导入探索性数据分析所需的包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.style.use('fivethirtyeight')

# 添加标题
pima_column_names = ['times_pregnant', 'plasma_glucose_concentration', 'diastolic_blood_pressure', 'triceps_thickness',
                    'serum_insulin', 'bmi', 'pedigree_function', 'age', 'onset_diabetes']
pima = pd.read_csv('./data/pima.data', names=pima_column_names)
pima.head()

# 计算一下空准确率
pima['onset_diabetes'].value_counts(normalize=True)

# 对plasma_glucose_concentration列绘制两类的直方图
col = 'plasma_glucose_concentration'
plt.hist(pima[pima['onset_diabetes'] == 0][col], 10, alpha=0.5, label='non-diabetes')   # 不患糖尿病
plt.hist(pima[pima['onset_diabetes'] == 1][col], 10, alpha=0.5, label='diabetes')  # 患糖尿病
plt.legend(loc='upper right')
plt.xlabel(col)
plt.ylabel('Frequency')
plt.title('Histogram of {}'.format(col))
plt.show()

# 线性相关矩阵量化变量间的关系
# 数据相关矩阵的热力图
sns.heatmap(pima.corr())

        从上面的分析中，我们首先可以得到患者和常人的血糖浓度是有很大的差异的。并且血糖浓度与患者是否患病的相关性很大。下面我们来分析一下数据是否存在缺失值。

# 查看数据中是否存在缺失值
pima.isnull().sum()

        从上面的结果我们可以看到并没有缺失值，我们在看一下关于数据的基本描述性统计。

# 查看数据的基本描述性统计
pima.describe()

        我们可以看到BMI指标的最小值是0.这是有悖于医学常识的。这有可能是缺失或不存在的点都用0填充了。从数据中可以看到，有好几列都是0.但是onset——diabetes中的0代表没有糖尿病，人也可以怀孕0次。所以这两列没有问题，其他的列的缺失值用0填充了。

• plasma_glucose_concentration
• diastolic_blood_pressure
• triceps_thickness
• serum_insulin
• bmi

2. 处理数据中的缺失值

        首先，对存在缺失值的列，使用None代替0。然后在查看是否存在缺失值。

# 直接对所有列操作
columns = ['serum_insulin', 'bmi', 'plasma_glucose_concentration', 'diastolic_blood_pressure', 'triceps_thickness']
for col in columns:
    pima[col].replace([0], [None], inplace=True)

# 查看缺失值情况
pima.isnull().sum()

（1）删除有害的行

        我们首先删除有害的行，然后对删除前后的数据做一个分析，最后应用机器学习算法评估一下当前数据的性能。
删除存在缺失值的数据：

# 删除存在缺失的行
pima_dropped = pima.dropna()
# 检查删除了多少行
num_rows_lost = round(100*(pima.shape[0] - pima_dropped.shape[0]) / float(pima.shape[0]))
print("retained {}% of rows".format(num_rows_lost))

retained 49% of rows
数据分析：

# 继续对数据做一下探索性分析
# 未删除数据的空准确率
pima['onset_diabetes'].value_counts(normalize=True)

0 0.651042
1 0.348958
Name: onset_diabetes, dtype: float64

# 删除数据后的空准确率
pima_dropped['onset_diabetes'].value_counts(normalize=True)

0 0.668367
1 0.331633
Name: onset_diabetes, dtype: float64

        从空准确率来看，前后的True和False并无太大的变化。接下来比较一下删除前后的个属性均值。

# 未删除数据的均值
pima.mean()

# 删除数据后的均值
pima_dropped.mean()

# 使用条形图进行可视化
# 均值变化百分比条形图
ax = ((pima_dropped.mean() - pima.mean()) / pima.mean()).plot(kind='bar', title='% change in average column values')
ax.set_ylabel('% change')

        我们可以看到，怀孕次数的均值在删除缺失值后下降了14%，糖尿病血系功能也上升了11%。都变化的比较大。删除行会严重影响数据的形状，所以我们应该保留尽可能多的数据。在我们进行其他操作前，我们使用一个机器学习算法验证一下当前数据情况的模型性能。
评估性能：

# 导入机器学习
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

# 删除标签数据
X_dropped = pima_dropped.drop('onset_diabetes', axis=1)  # 特征
print("leanrning from {} rows".format(X_dropped.shape[0]))
y_dropped = pima_dropped['onset_diabetes']   # 标签

# KNN的模型参数
knn_params = {'n_neighbors': [1, 2, 3, 4, 5, 6, 7]}

# KNN模型
knn = KNeighborsClassifier()

# 使用网格搜索优化
grid = GridSearchCV(knn, knn_params)
grid.fit(X_dropped, y_dropped)

# 输出结果
print(grid.best_score_, grid.best_params_)

结果：0.7448979591836735 {‘n_neighbors’: 7}

（2）填充缺失值

        首先，我们检查一下缺失值的情况。然后使用sklearn模块的方法填充缺失值，最后在检查缺失值情况，用机器学期方法验证一下模型的性能。
检查缺失值：

# 在此查看缺失值情况
pima.isnull().sum()

填充缺失值：

# 使用scikit-learn预处理类的Imputer模块
from sklearn.preprocessing import Imputer

# 实例化对象
imputer = Imputer(strategy='mean')
# 创建新对象
pima_imputed = imputer.fit_transform(pima)
# 将得到的ndarray类型转化为DataFrame
pima_imputed = pd.DataFrame(pima_imputed, columns=pima_column_names)
pima_imputed.head()

检查缺失值情况并评估性能：

# 判断是否有缺失值
pima_imputed.isnull().sum()

# 尝试一下填充一些别的值，查看对KNN模型的影响
# 用0填充
pima_zero = pima.fillna(0)  
X_zero = pima_zero.drop('onset_diabetes', axis=1)
y_zero = pima_zero['onset_diabetes']

# knn模型参数
knn_params = {'n_neighbors': [1, 2, 3, 4, 5, 6, 7]}
# 网格搜索
grid = GridSearchCV(knn, knn_params)
grid.fit(X_zero, y_zero)

# 输出
print(grid.best_score_, grid.best_params_)

结果：0.7330729166666666 {‘n_neighbors’: 6}

3. 标准化和归一化

        我们现在要做的是进一步增强机器学习流水线，进行一下探索性数据分析。

impute = Imputer(strategy='mean')
# 填充所有的缺失值
pima_imputed_mean = pd.DataFrame(impute.fit_transform(pima), columns=pima_column_names)
# 画直方图
pima_imputed_mean.hist(figsize=(15, 15))

        从这分析中可以发现，某些特征数据的尺度不同。有一些机器学习模型受数据尺度的影响很大。因此，我们可以使用某种归一化/标准化操作。
**归一化：**将行和列对齐并转化为一致的规则。将所有定量列转化为同一个静态范围中的值。
**标准化：**通过确保所有行和列在机器学习中得到平等对待，让数据的处理保持一致。

（1）z分数标准化

        z分数标准化利用了统计学最简单的z分数思想。将特征重新缩放，均值为0、标准差为1。通过缩放特征、统一化均值和方差，可以让机器学习模型达到最优化。公式为
$$z=\frac{x-\mu }{\sigma }$$
其中$\mu$为均值，$\sigma$为标准差。

# 取此列均值
mu = pima['plasma_glucose_concentration'].mean()
# 取此列标准差
sigma = pima['plasma_glucose_concentration'].std()
# 对每个值计算z分数
print(((pima['plasma_glucose_concentration'] - mu) / sigma).head())

# 使用内置的z分数归一化
from sklearn.preprocessing import StandardScaler

# 用z分数标准化
scaler = StandardScaler()

glucose_z_score_standardized = scaler.fit_transform(pima[['plasma_glucose_concentration']])
# 直方图
ax = pd.Series(glucose_z_score_standardized.reshape(-1,)).hist()
ax.set_title('Distribution of plasma_glucose_concentration after Z Score Scaling')

# 将z分数标准化插入到机器学习流水线上
knn_params = {'imputer__strategy': ['mean', 'median'], 'classify__n_neighbors': [1, 2, 3, 4, 5, 6, 7]}

mean_impute_standardize = Pipeline([('imputer', Imputer()), ('standardize', StandardScaler()), ('classify', knn)])

X = pima.drop('onset_diabetes', axis=1)
y = pima['onset_diabetes']

grid = GridSearchCV(mean_impute_standardize, knn_params)
grid.fit(X, y)

print(grid.best_score_, grid.best_params_)

结果：0.7421875 {‘classify__n_neighbors’: 7, ‘imputer__strategy’: ‘median’}

（2）min-max标准化

$$m=\frac{x-x_{min}}{x_{max}-x_{min}}$$
        其中，$x_{min}$为该列最小值，$x_{max}$为该列最大值。
标准化

# 导入sklearn模块
from sklearn.preprocessing import MinMaxScaler

# 实例化
min_max = MinMaxScaler()

# min-max标准化
pima_min_maxed = pd.DataFrame(min_max.fit_transform(pima_imputed), columns=pima_column_names)

# 得到描述性统计
pima_min_maxed.describe()

评估性能

knn_params = {'imputer__strategy': ['mean', 'median'], 'classify__n_neighbors': [1, 2, 3, 4, 5, 6, 6]}

mean_impute_standardize = Pipeline([('imputer', Imputer()), ('standardize', MinMaxScaler()), ('classify', knn)])

X = pima.drop('onset_diabetes', axis=1)
y = pima['onset_diabetes']

grid = GridSearchCV(mean_impute_standardize, knn_params)
grid.fit(X, y)

print(grid.best_score_, grid.best_params_)

结果：0.74609375 {‘classify__n_neighbors’: 4, ‘imputer__strategy’: ‘mean’}

（3）行归一化

        行归一化是针对行进行操作的，保证每行有单位范数，也就是每行的向量长度相同。
$$\Vert x\Vert =\sqrt{(x_1^2+x_2^2+...+x_n^2)}$$
归一化

# 引入行归一化
from sklearn.preprocessing import Normalizer

# 实例化
normalize = Normalizer()

pima_normalized = pd.DataFrame(normalize.fit_transform(pima_imputed), columns=pima_column_names)

# 行归一化后矩阵的平均范数
np.sqrt((pima_normalized**2).sum(axis=1)).mean()

结果：1.0
评估性能

knn_params = {'imputer__strategy': ['mean', 'median'], 'classify__n_neighbors': [1, 2, 3, 4, 5, 6, 6]}

mean_impute_standardize = Pipeline([('imputer', Imputer()), ('normalize', Normalizer()), ('classify', knn)])

X = pima.drop('onset_diabetes', axis=1)
y = pima['onset_diabetes']

grid = GridSearchCV(mean_impute_standardize, knn_params)
grid.fit(X, y)

print(grid.best_score_, grid.best_params_)

结果：0.6822916666666666 {‘classify__n_neighbors’: 6, ‘imputer__strategy’: ‘mean’}
        从本章的学习中，我们处理了数据中的缺失值，并使用标准化/归一化的方法继续处理数据。然后我们评估了性能。得到的结果是使用均值填充数据，然后用min-max标准化处理出具。得到0.7461的准确率。注意，虽然这个数据比删除存在缺失值的数据准确率没有高很多。但是这是使用全部数据训练的结果。更具有一般化。泛化性能将更好。

注：本文的内容与图片来源于《特征工程入门与实践》。如有您也想学习相关知识，建议买一本来看。
个人博客.
联系方式：2391855138(加好友请备注)