---

可参考另外几篇：

• 机器学习模型可解释性进行到底 —— 从SHAP值到预测概率（二）
• 机器学习模型可解释性进行到底 —— SHAP值理论（一）
• 机器学习模型可解释性进行到底 ——PDP&ICE图（三）

---

1 四种全局可解释的方法论

全局可解释代表着，是判定、选择某个特征的方法，包括：过滤法，嵌入法，包装法，和降维算法。
其中，嵌入法最为熟知，包括了特征重要性。

参考文章[2] [7]

1.1 过滤法

过滤法选择特征，其主要思想是：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序。

1.1.1 方差过滤方差过滤

文章[11]也提到，特征选择时，主要遵循如下两个原则：

• 波动性
• 相关性

波动性是指该特征取值发生变化的情况，用方差来衡量，如果方差很小，说明该特征的取值很稳定，可以近似理解成该特征的每个值都接近，这样的特征对模型是没有任何效果，是不具备区分度的，比如年龄这个特征，都是20岁左右大小的。反之，方差越大，则特征对模型的区分度越好。

相关性是就是该特征和目标结果的相关性大小，常用皮尔逊相关系数来度量。

过滤法的主要对象是：需要遍历特征或升维的算法们，
而过滤法的主要目的是：在维持算法表现的前提下，帮助算法们降低计算成本。

随机森林运行时间与特征数无关（每次都直选几十个特征），决策树与特征数有关（一次建模需要挑选很多特征），其他想svm、KNN等的运行时间更是与特征数量相关

方差过滤不能保证模型效果变好，但能保证运行时间的降低。方差过滤中的超参数threshold可以通过画学习曲线来找到最好的点，但是一般不太这么做，因为计算量太大了。

1.1.2 相关性过滤

1.2 嵌入法

嵌入法选择特征，其主要思想是：在模型既定的情况下学习出对提高模型准确性最好的属性。这句话并不是很好理解，其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。
最常用的是使用L1正则化和L2正则化来选择特征如Ridge Regression。正则化惩罚项越大，那么模型的系数就会越小。
当正则化惩罚项大到一定的程度的时候，部分特征系数会变成0，当正则化惩罚项继续增大到一定程度时，所有的特征系数都会趋于0. 但是我们会发现一部分特征系数会更容易先变成0，这部分系数就是可以筛掉的。
也就是说，我们选择特征系数较大的特征。

1.2.1 SelectFromModel - 筛选特征

feature_selection.SelectFromModel从模型选择

sklearn在Feature selection模块中内置了一个SelectFromModel，该模型可以通过Model本身给出的指标对特征进行选择，其作用与其名字高度一致，select （feature） from model。
SelectFromModel是一个通用转换器,其需要的Model只需要带有conef_或者feature_importances属性,那么就可以作为SelectFromModel的Model来使用. 如果相关的coef_或者 featureimportances 属性值低于预先设置的阈值，这些特征将会被认为不重要并且移除掉。
除了指定数值上的阈值之外，还可以通过给定字符串参数来使用内置的启发式方法找到一个合适的阈值。可以使用的启发式方法有 mean 、 median 以及使用浮点数乘以这些（例如，0.1*mean ）。

与threshold标准结合使用时，可以使用 max_features参数设置对要选择的要素数量的限制

函数包括（参考文章[3]）：
class sklearn.feature_selection.SelectFromModel(estimator, *, threshold=None, prefit=False, norm_order=1, max_features=None)

简单案例：

# https://www.cnblogs.com/cgmcoding/p/13588878.html

from sklearn.svm import LinearSVC
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectFromModel
X, y = load_iris(return_X_y=True)
X.shape
# (150, 4)
lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
model = SelectFromModel(lsvc, prefit=True)  #已经fit过了，所以必须带上参数prefit
X_new = model.transform(X)   
X_new.shape
 #(150, 3)

可选参数：

• （1）estimator: object，用来构建变压器的基本估算器。既可以是拟合的（如果prefit设置为True），也可以是不拟合的估计量。拟合后，估计量必须具有 feature_importances_或coef_属性
• （2）threshold: str, float, optional default None，用于特征选择的阈值。保留重要性更高或相等的要素，而其他要素则被丢弃。如果为“中位数”（分别为“均值”），则该threshold值为特征重要性的中位数（分别为均值）。也可以使用缩放因子（例如，“ 1.25 *平均值”）。如果为None（无），并且估计器的参数惩罚显式或隐式设置为l1（例如Lasso），则使用的阈值为1e-5。否则，默认情况下使用“平均值”
• （3）prefit: bool, default False，预设模型是否期望直接传递给构造函数。如果为True，transform必须直接调用和SelectFromModel不能使用cross_val_score， GridSearchCV而且克隆估计类似的实用程序。否则，使用训练模型fit，然后transform进行特征选择。
• （4）norm_order: 非零 int, inf, -inf, default 1，在估算器threshold的coef_属性为维度2 的情况下，用于过滤以下系数矢量的范数的顺序 ,正则化
• （5）max_features：int or None, optional，要选择的最大功能数。若要仅基于选择max_features，请设置threshold=-np.inf

属性：

• estimator_：一个估算器，用来建立变压器的基本估计器。只有当一个不适合的估计器传递给SelectFromModel时，才会存储这个值，即当prefit为False时。
• threshold_：float，用于特征选择的阈值

方法：

• fit（X [，y]）适合SelectFromModel元变压器。
• fit_transform（X [，y]）适合数据，然后对其进行转换。
• get_params（[deep]）获取此估计量的参数。
• get_support（[index]）获取所选特征的掩码或整数索引
• inverse_transform（X）反向转换操作
• partial_fit（X [，y]）仅将SelectFromModel元变压器安装一次。
• set_params（**参数）设置此估算器的参数。
• transform（X）将X缩小为选定的特征。

1.2.2 PermutationImportance - 排列重要性

文章[12][13]提及了PermutationImportance。

文档对该方法介绍如下：eli5 provides a way to compute feature importances for any black-box estimator by measuring how score decreases when a feature is not available; the method is also known as “permutation importance” or “Mean Decrease Accuracy (MDA)”.

我的理解是：若将一个特征置为随机数，模型效果下降很多，说明该特征比较重要；反之则不是。

简单来说，就是改变数据表格中某一列的数据的排列，保持其余特征不动，看其对预测精度的影响有多大。

计算步骤：
1、用上全部特征，训练一个模型。
2、验证集预测得到得分。
3、验证集的一个特征列的值进行随机打乱，预测得到得分。
4、将上述得分做差即可得到特征x1对预测的影响。
5、依次将每一列特征按上述方法做，得到每二个特征对预测的影响。

结果分析：

• 靠近上方的绿色特征，表示对模型预测较为重要的特征；
• 为了排除随机性，每一次 shuffle 都会进行多次，然后取结果的均值和标准差；
• ±后面的数字表示多次随机重排之间的差异值。
• 这个例子里，最重要的特征是第三个 ‘petal length (cm)’, 和feature_importances_输出结果一致。

在文章[12]中得实验来看，
全部特征、RF前30特征、LightGBM前30特征、LR前30特征。可以看到LightGBM通过PermutationImportance选出来的30个特征的模型的泛化性要好于用全部变量建模。

1.3 包装法

包装法选择特征，其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等

主要的方式：

• 递归消除特征法（recursive feature elimination,简称RFE ），递归消除特征法的主要过程是，采用一个机器学习模型进行多次的训练，每一次的训练，都会消除若干部分权重系数的特征，然后再采用新的一组训练集进行训练。如条件互信息等。
• 递归过程可以是前向的或者后向的以及前后结合的。
• 常用的特征子集搜索算法还有：完全搜索；基于贪心的启发式搜索（前向/后向搜索等）；随机搜索（模拟退火、遗传算法等）。
  

1.4 几种方法对比

计算成本：嵌入>包装>过滤

经验来说，过滤法更快速，但更粗糙。
包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。
当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。
使用逻辑回归时，优先使用嵌入法。使用支持向量机时，优先使用包装法。

各类特征选择方法的优缺点

1.5 额外的交叉特征筛选模型：AutoFIS

一篇文章里面的特征选择方法：Automatic Feature Interaction Selection（AutoFIS）。

推荐和广告系统中特征交叉非常重要，设计得当通常能获得巨大的提升。

虽然现在已经由一些模型来做部分的自动特征组合交叉，如xDeepFM，DeepCross，PNN，DIN等等，但是出于性能以及简便考虑，通常我们还是手动或者枚举着进行特征选择。

这篇文章的出发点是提出一种方法来进行特征交叉的选择，达到减少冗余交叉降低噪声，使训练更容易，进而提升效果的目的。

文章号称AutoFIS能自动地识别factorization模型中的所有重要的特征交互，而计算量和训练目标模型到收敛差不多。

---

2 SHAP(SHapley Additive exPlanation)

可参考另外几篇：

• 机器学习模型可解释性进行到底 —— 从SHAP值到预测概率（二）
• 机器学习模型可解释性进行到底 —— SHAP值理论（一）
• 机器学习模型可解释性进行到底 ——PDP&ICE图（三）

文章[13]
来看一下SHAP模型，是比较全能的模型可解释性的方法，既可作用于之前的全局解释，也可以局部解释，即单个样本来看，模型给出的预测值和某些特征可能的关系，这就可以用到SHAP。

SHAP 属于模型事后解释的方法，它的核心思想是计算特征对模型输出的边际贡献，再从全局和局部两个层面对“黑盒模型”进行解释。SHAP构建一个加性的解释模型，所有的特征都视为“贡献者”。
对于每个预测样本，模型都产生一个预测值，SHAP value就是该样本中每个特征所分配到的数值。
基本思想：计算一个特征加入到模型时的边际贡献，然后考虑到该特征在所有的特征序列的情况下不同的边际贡献，取均值，即某该特征的SHAPbaseline value

2.1 SHAP 与 Permutation importance 的差异

文章[8]提及：Permutation importance很不错，因为它用很简单的数字就可以衡量特征对模型的重要性。但是它不能handle这么一种情况：当一个feature有中等的permutation importance的时候，这可能意味着这么两种情况：
1：对少量的预测有很大的影响，但是整体来说影响较小；
2：对所有的预测都有中等程度的影响。

SHAP 就可以应用的上，来看一下SHAP呈现的几种图，本轮笔者 是直接拿slundberg/shap中的代码，发现0.39.0版本，跟之前的版本差异非常大，很多函数名称都发生了变化。

笔者实验下述代码的环境：anaconda + py3.7 + jupyter notebook + shap==0.39.0

pip install shap
or
conda install -c conda-forge shap

那就从拆解当下slundberg/shap的案例入手，开始解读SHAP值的各类神图：

---

2.2 特征归因的一致性

2.2.1 树模型importance的不稳定

在文章[附代码！视频点击预测大赛初赛第二名方案 ]

通过训练模型发现，存在大量的原始特征，特征的重要性为0，然后对这些特征重要性为0的数据进行了删除。

在训练模型的时候发现，lightgbm和XGBoost的特征重要性差别非常大，所以我们对这两个模型的特征重要性进行了求和。

同时，获取特征重要性的不同方式，也会对特征重要性有所影响。在某种方式下重要性较低，另一种方式下可能会比较高，所以我们同样考虑到使用多种不同的特征重要性的获取方式。

2.2.2 SHAP值是唯一一致的个性化特征归因方法

文章:SHAP知识点全汇总

一致性：每当我们更改模型以使其更依赖于某个特征时，该特征的归因重要性不应该降低。
如果一致性不成立，意味着当一个模型被更改为某个特征对模型输出的影响更大时，反而会降低该特征的重要性，那么我们不能比较任意两个模型之间的归因重要性，因为具有较高分配归因的特征并不意味着模型实际上更依赖该特征。

下面举两个模型的例子对归因方法的一致性进行比较，假设模型的输出是基于人的症状的风险评分，对于二元特征发烧(Fever)和咳嗽(Cough)，模型A只是一个简单的"和"函数，模型B是相同的函数，但是当为咳嗽时预测值会增加（加10分），使得模型更依赖于咳嗽，这时因咳嗽更重要，导致在模型B中咳嗽先分裂。

比较A、B模型在下面六种归因方法上的差别：

• Tree SHAP，本文提出的一种新的个性化方法。（个性化特征归因方法，为单个预测计算）
• Saabas，个性化的启发式特征归因方法。（个性化特征归因方法，为单个预测计算）
• mean（|Tree SHAP |），基于个性化Tree SHAP归因的平均幅度的全局归因方法（全局特征归因方法，为整个数据集计算，实际为所有样本的Tree SHAP值按照特征计算均值）
• 增益（全局特征归因方法，为整个数据集计算）
• 分裂数（全局特征归因方法，为整个数据集计算）
• 置换（全局特征归因方法，为整个数据集计算）

个性化特征归因方法：Tree SHAP、Sabbas，只有SHAP值能够保证反映特征的重要性，而Saabas值可能会给出错误的结果，比如模型B中认为更大的原因是发烧，而不是咳嗽，这是不一致的表现。

全局特征归因方法：mean（|Tree SHAP |）、增益、分裂数和特征置换，只有mean（|Tree SHAP |）和置换认为模型B咳嗽比发烧更重要，这意味着在一致性上增益和分裂数不是全局特性重要性的可靠度量。

所以gain、split count和Saabas方法中的特征重要度都不一致（使B模型更加依赖咳嗽时，却认为发烧更重要），这意味着模型改变为更多地依赖于给定的特性时，分配给该特征的重要性却降低了。

通常我们期望树根附近的特征比在叶子附近分裂的特征更重要（因为树是贪婪地构造的），然而增益方法偏向于更重视较低的分裂，这种偏差会导致不一致，当咳嗽变得更加重要时（因此在根部分裂），其归因重要性实际上下降。

个性化的Saabas方法在我们下降树时计算预测的差异，因此它也会受到与树中较低分割相同的偏差，随着树木越来越深，这种偏差只会增长。

相比之下，Tree SHAP方法在数学上等效于平均所有可能的特征排序的预测差异，而不仅仅是它们在树中的位置指定的排序。

所以在我们考虑的方法中，只有SHAP值和置换的方法是具有一致性的，而其中又只有SHAP值是个性化的，所以SHAP值是唯一一致的个性化特征归因方法。

---

3 工业案例

3.1 ML平台中 特征重要性

文章[干货 | 用户画像在携程商旅的实践] 提到，用户画像标签体系的数据监控中，会把特征重要性也作为监控指标，

在特征计算阶段，需要监控各数值特征的统计值（最大值、最小值、均值、标准差等）是否在合理区间内、
类别特征是否不在枚举范围内、特征重要性（方差、卡方、信息增益）监控。
如一个指标在前三个月属于重要性的指标，随着业务变化，该指标的重要性已经降低了，
以此来指导模型迭代（特征选择、超参数调整）。

3.2 一些比赛经验

文章[消费金融场景下的用户购买预测【冠军方案】分享]提到，
特征选择:
基于XGB的特征重要性
先训练一个XGBoost模型，输出其特征重要性，然后将重要性为0的特征删除，即完成了特征选择。
基于wrapper的方式
基于贪心算法，寻找最优特征子集，如上图所示。

---

参考文献

1 数据科学竞赛：你从未见过的究极进化秘笈
2 sklearn之特征工程
3 sklearn.feature_selection.SelectFromModel 特征重要性选择（嵌入法的一种）
4 官方 1.13.4. Feature selection using SelectFromModel
5 干货 | 用户画像在携程商旅的实践
6 消费金融场景下的用户购买预测【冠军方案】分享
7 笔记：机器学习中的特征选择 一
8 kaggle | Machine Learning for Insights Challenge
9 特征选择怎么做？这篇文章告诉你
10 AutoML:mljar-supervised
11 机器学习中的特征选择
12 利用PermutationImportance挑选变量
13 可解释性机器学习_Feature Importance、Permutation Importance、SHAP

特征重要性评分是一种为输入特征评分的手段，其依据是输入特征在预测目标变量过程中的有用程度。

特征重要性有许多类型和来源，尽管有许多比较常见，比如说统计相关性得分，线性模型的部分系数，基于决策树的特征重要性和经过随机排序得到重要性得分。

特征重要性在预测建模项目中起着重要作用，包括提供对数据、模型的见解，以及如何降维和选择特征，从而提高预测模型的的效率和有效性。

在本教程中，我将会阐述用于python机器学习的特征重要性。完成本教程后，你将会知道：

• 特征重要性在预测建模中的作用
• 如何计算和查看来自线性模型和决策树的特征重要性
• 如何计算和查看随机排序重要性得分

现在让我们开始吧.

教程概述

本教程分为五部分，分别是：

1.特征重要性

2.准备

2.1. 检查Scikit-Learn版本

2.2. 创建测试数据集

3.特征重要性系数

3.1. 基于线性回归系数的特征重要性

3.2. 基于Logistic回归的特征重要性

4.基于决策树的特征重要性

4.1. 基于CART的特征重要性

4.2. 基于随机森林的特征重要性

4.3. 基于XGBoost的特征重要性

5.随机排序特征重要性

5.1. 随机排序（回归）中的特征重要性

5.2. 随机排序（分类）中的特征重要性

1.特征重要性

特征重要性是一种为预测模型的输入特征评分的方法，该方法揭示了进行预测时每个特征的相对重要性。

可以为涉及预测数值的问题（称为回归）和涉及预测类别标签的问题（称为分类）计算特征重要性得分。

这些得分非常有用，可用于预测建模问题中的多种情况，例如：

• 更好地理解数据
• 更好地理解模型
• 减少输入特征的数量

 

特征重要性得分可以帮助了解数据集

相对得分可以突出显示哪些特征可能与目标最相关，反之则突出哪些特征最不相关。这可以由一个领域专家解释，并且可以用作收集更多的或不同的数据的基础。

特征重要性得分可以帮助了解模型

大多数重要性得分是通过数据集拟合出的预测模型计算的。查看重要性得分可以洞悉该特定模型，以及知道在进行预测时哪些特征最重要和哪些最不重要。这是一种模型解释，适用于那些支持它的模型。

特征重要性可用于改进预测模型

可以使用的重要性得分来选择要删除的特征（最低得分）或要保留的特征（最高得分）。这是一种特征选择，可以简化正在建模的问题，加快建模过程（删除特征称为降维），在某些情况下，还可以改善模型的性能。

特征重要性得分可以被输入到包装器模型，如SelectFromModel或SelectKBest，以进行特征选择。

有许多方法和模型可以计算特征重要性得分。

也许最简单的方法是计算每个特征和目标变量之间的统计学相关系数。

在本教程中，我们将研究三种比较高级的特征重要性，即：

• 从模型系数得知的特征重要性。
• 决策树中的特征重要性。
• 随机排序检验中的特征重要性。

现在让我们深入了解这三个！

2.准备

在深入学习之前，我们先确认我们的环境并准备一些测试数据集。

检查Scikit-Learn版本

首先，确认你已安装最新版本的scikit-learn库。这非常重要，因为在本教程中，我们我们研究的一些模型需要最新版的库。

您可以使用以下示例代码来查看已安装的库的版本：

1. # check scikit-learn version
2. import sklearn
3. print(sklearn.__version__)

运行示例代码将会打印出库的版本。在撰写本文时，大概是version 0.22。你需要使用此版本或更高版本的scikit-learn。

1. 0.22.1

生成测试数据集

接下来，让我们生成一些测试数据集，这些数据集可以作为基础来证明和探索特征重要性得分。每个测试问题有五个重要特征和五不重要的特征，看看哪种方法可以根据其重要性找到或区分特征可能会比较有意思。

分类数据集

我们将使用make_classification()函数创建一个用于测试的二进制分类数据集。

数据集将包含1000个实例，且包含10个输入特征，其中五个将会提供信息，其余五个是多余的。

为了确保每次运行代码时都得到相同的实例，我们将使用假随机数种子。下面列出了创建数据集的示例。

1. # test classification dataset
2. from sklearn.datasets import make_classification
3. # define dataset
4. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
5. # summarize the dataset
6. print(X.shape, y.shape)

运行示例，创建数据集，并确保所需的样本和特征数量。

1. (1000, 10) (1000,)

回归数据集

我们将使用make_regression()函数创建一个用于测试的回归数据集。

像分类数据集一样，回归数据集将包含1000个实例，且包含10个输入特征，其中五个将会提供信息，其余五个是多余的。

1. # test regression dataset
2. from sklearn.datasets import make_regression
3. # define dataset
4. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
5. # summarize the dataset
6. print(X.shape, y.shape)

运行示例，创建数据集，并确保所需的样本和特征数量。

1. (1000, 10) (1000,)

接下来，我们仔细看一下特征重要性系数。

3.特征重要性系数

线性的机器学习能够拟合出预测是输入值的加权和的模型。

案例包括线性回归，逻辑回归，和正则化的扩展案例，如岭回归和弹性网络。

所有这些算法都是找到一组要在加权求和中使用的系数，以便进行预测。这些系数可以直接用作粗略类型的特征重要性得分。

我们来仔细研究一下分类和回归中的特征重要性系数。我们将在数据集中拟合出一个模型以找到系数，然后计算每个输入特征的重要性得分，最终创建一个条形图来了解特征的相对重要性。

3.1线性回归特征重要性

我们可以在回归数据集中拟合出一个LinearRegression模型，并检索coeff_属性，该属性包含为每个输入变量（特征）找到的系数。这些系数可以为粗略特征重要性评分提供依据。该模型假设输入变量具有相同的比例或者在拟合模型之前已被按比例缩放。

下面列出了针对特征重要性的线性回归系数的完整示例。

1. # linear regression feature importance
2. from sklearn.datasets import make_regression
3. from sklearn.linear_model import LinearRegression
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
7. # define the model
8. model = LinearRegression()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.coef_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

得分表明，模型找到了五个重要特征，并用零标记了剩下的特征，实际上，将他们从模型中去除了。

1. Feature: 0, Score: 0.00000
2. Feature: 1, Score: 12.44483
3. Feature: 2, Score: -0.00000
4. Feature: 3, Score: -0.00000
5. Feature: 4, Score: 93.32225
6. Feature: 5, Score: 86.50811
7. Feature: 6, Score: 26.74607
8. Feature: 7, Score: 3.28535
9. Feature: 8, Score: -0.00000
10. Feature: 9, Score: 0.00000

然后为特征重要性得分创建条形图。

 

这种方法也可以用于岭回归和弹性网络模型。

3.2 Logistic回归特征重要性

就像线性回归模型一样，我们也可以在回归数据集中拟合出一个LogisticRegression模型，并检索coeff_属性。这些系数可以为粗略特征重要性评分提供依据。该模型假设输入变量具有相同的比例或者在拟合模型之前已被按比例缩放。

下面列出了针对特征重要性的Logistic回归系数的完整示例。

1. # logistic regression for feature importance
2. from sklearn.datasets import make_classification
3. from sklearn.linear_model import LogisticRegression
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
7. # define the model
8. model = LogisticRegression()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.coef_[0]
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

回想一下，这是有关0和1的分类问题。请注意系数既可以为正，也可以为负。正数表示预测类别1的特征，而负数表示预测类别0的特征。

从这些结果，至少从我所知道的结果中，无法清晰的确定出重要和不重要特征。

1. Feature: 0, Score: 0.16320
2. Feature: 1, Score: -0.64301
3. Feature: 2, Score: 0.48497
4. Feature: 3, Score: -0.46190
5. Feature: 4, Score: 0.18432
6. Feature: 5, Score: -0.11978
7. Feature: 6, Score: -0.40602
8. Feature: 7, Score: 0.03772
9. Feature: 8, Score: -0.51785
10. Feature: 9, Score: 0.26540

然后为特征重要性得分创建条形图。

 

现在我们已经看到了将系数用作重要性得分的示例，接下来让我们看向基于决策树的重要性得分的常见示例

4.基于决策树的特征重要性

决策树算法，比如说classification and regression trees（CART）根据Gini系数或熵的减少来提供重要性得分。这个方法也可用于随机森林和梯度提升算法。

OK.现在让我们看看相应的运行示例。

4.1基于CART的特征重要性

对于在scikit-learn中实现的特征重要性，我们可以将CART算法用于DecisionTreeRegressor和DecisionTreeClassifier类

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

让我们看一个用于回归和分类的示例。

基于CART（回归）的特征重要性

下面列出了拟合DecisionTreeRegressor和计算特征重要性得分的完整示例。

1. # decision tree for feature importance on a regression problem
2. from sklearn.datasets import make_regression
3. from sklearn.tree import DecisionTreeRegressor
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
7. # define the model
8. model = DecisionTreeRegressor()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的三个可能对预测很重要。

1. Feature: 0, Score: 0.00294
2. Feature: 1, Score: 0.00502
3. Feature: 2, Score: 0.00318
4. Feature: 3, Score: 0.00151
5. Feature: 4, Score: 0.51648
6. Feature: 5, Score: 0.43814
7. Feature: 6, Score: 0.02723
8. Feature: 7, Score: 0.00200
9. Feature: 8, Score: 0.00244
10. Feature: 9, Score: 0.00106

然后为特征重要性得分创建条形图。

基于CART（分类）的特征重要性

下面列出了拟合DecisionTreeClassifier和计算特征重要性得分的完整示例

1. # decision tree for feature importance on a classification problem
2. from sklearn.datasets import make_classification
3. from sklearn.tree import DecisionTreeClassifier
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
7. # define the model
8. model = DecisionTreeClassifier()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的四个可能对预测很重要。

1. Feature: 0, Score: 0.01486
2. Feature: 1, Score: 0.01029
3. Feature: 2, Score: 0.18347
4. Feature: 3, Score: 0.30295
5. Feature: 4, Score: 0.08124
6. Feature: 5, Score: 0.00600
7. Feature: 6, Score: 0.19646
8. Feature: 7, Score: 0.02908
9. Feature: 8, Score: 0.12820
10. Feature: 9, Score: 0.04745

然后为特征重要性得分创建条形图。

4.2随机森林中的特征重要性

对于在scikit-learn中实现的特征重要性，我们可以将Random Forest算法用于DecisionTreeRegressor和DecisionTreeClassifier类。

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

这种方法也可以与装袋和极端随机树（extraTree）算法一起使用。

让我们看一个用于回归和分类的示例。

随机森林（回归）中的特征重要性

下面列出了拟合RandomForestRegressor和计算特征重要性得分的完整示例

1. # random forest for feature importance on a regression problem
2. from sklearn.datasets import make_regression
3. from sklearn.ensemble import RandomForestRegressor
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
7. # define the model
8. model = RandomForestRegressor()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

1. Feature: 0, Score: 0.00280
2. Feature: 1, Score: 0.00545
3. Feature: 2, Score: 0.00294
4. Feature: 3, Score: 0.00289
5. Feature: 4, Score: 0.52992
6. Feature: 5, Score: 0.42046
7. Feature: 6, Score: 0.02663
8. Feature: 7, Score: 0.00304
9. Feature: 8, Score: 0.00304
10. Feature: 9, Score: 0.00283

然后为特征重要性得分创建条形图。

随机森林（分类）中的特征重要性

下面列出了拟合RandomForestClassifier和计算特征重要性得分的完整示例

1. # random forest for feature importance on a classification problem
2. from sklearn.datasets import make_classification
3. from sklearn.ensemble import RandomForestClassifier
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
7. # define the model
8. model = RandomForestClassifier()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

1. Feature: 0, Score: 0.06523
2. Feature: 1, Score: 0.10737
3. Feature: 2, Score: 0.15779
4. Feature: 3, Score: 0.20422
5. Feature: 4, Score: 0.08709
6. Feature: 5, Score: 0.09948
7. Feature: 6, Score: 0.10009
8. Feature: 7, Score: 0.04551
9. Feature: 8, Score: 0.08830
10. Feature: 9, Score: 0.04493

然后为特征重要性得分创建条形图。

4.3基于XGBoost的特征重要性

XGBoost是一个库，它提供了随机梯度提升算法的高效实现。可以通过XGBRegressor和XGBClassifier类将此算法与scikit-learn一起使用。

拟合后，模型提供feature_importances_属性，可以访问该属性以检索每个输入特征的相对重要性得分。

scikit-learn还通过GradientBoostingClassifier和GradientBoostingRegressor提供了该算法，并且可以使用相同的特征选择方法

首先，安装XGBoost库，例如：

1. sudo pip install xgboost

然后，通过检查版本号来确认该库已正确安装并且可以正常工作。

1. # check xgboost version
2. import xgboost
3. print(xgboost.__version__)

运行该示例，你应该看到以下版本号或者更高版本。

1. 0.90

有关XGBoost库的更多信息，请看：

• XGBoost with Python

让我们看一个用于回归和分类问题的示例。

基于XGBoost（回归）的特征重要性

下面列出了拟合XGBRegressor并且计算特征重要性得分的完整示例

1. # xgboost for feature importance on a regression problem
2. from sklearn.datasets import make_regression
3. from xgboost import XGBRegressor
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
7. # define the model
8. model = XGBRegressor()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

1. Feature: 0, Score: 0.00060
2. Feature: 1, Score: 0.01917
3. Feature: 2, Score: 0.00091
4. Feature: 3, Score: 0.00118
5. Feature: 4, Score: 0.49380
6. Feature: 5, Score: 0.42342
7. Feature: 6, Score: 0.05057
8. Feature: 7, Score: 0.00419
9. Feature: 8, Score: 0.00124
10. Feature: 9, Score: 0.00491

然后为特征重要性得分创建条形图。

基于XGBoost（分类）的特征重要性

下面列出了拟合XGBClassifier并且计算特征重要性得分的完整示例

1. # xgboost for feature importance on a classification problem
2. from sklearn.datasets import make_classification
3. from xgboost import XGBClassifier
4. from matplotlib import pyplot
5. # define dataset
6. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
7. # define the model
8. model = XGBClassifier()
9. # fit the model
10. model.fit(X, y)
11. # get importance
12. importance = model.feature_importances_
13. # summarize feature importance
14. for i,v in enumerate(importance):
15. print('Feature: %0d, Score: %.5f' % (i,v))
16. # plot feature importance
17. pyplot.bar([x for x in range(len(importance))], importance)
18. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中有七个可能对预测很重要。

1. Feature: 0, Score: 0.02464
2. Feature: 1, Score: 0.08153
3. Feature: 2, Score: 0.12516
4. Feature: 3, Score: 0.28400
5. Feature: 4, Score: 0.12694
6. Feature: 5, Score: 0.10752
7. Feature: 6, Score: 0.08624
8. Feature: 7, Score: 0.04820
9. Feature: 8, Score: 0.09357
10. Feature: 9, Score: 0.02220

然后为特征重要性得分创建条形图。

5.基于随机排序的特征重要性

随机排序特征重要性（Permutation feature importance）可以计算相对重要性，与所使用的模型无关。

首先，在数据集中拟合出一个模型，比如说一个不支持本地特征重要性评分的模型。然后，尽管对数据集中的特征值进行了干扰，但仍可以使用该模型进行预测。对数据集中的每个特征进行此操作。然后，再将整个流程重新操作3、5、10或更多次。我们得到每个输入特征的平均重要性得分（以及在重复的情况下得分的分布）。

此方法可以用于回归或分类，要求选择性能指标作为重要性得分的基础，例如回归中的均方误差和分类中的准确性。

可以通过permutation_importance()函数（以模型和数据集为参数）和评分函数进行随机排序特性选择。

让我们看下这个特征选择方法，其算法并不支持特征选择，尤其是k近邻算法（ k-nearest neighbors）。

5.1随机排序（回归）特征重要性

下面列出了拟合KNeighborsRegressor并且计算特征重要性得分的完整示例。

1. # permutation feature importance with knn for regression
2. from sklearn.datasets import make_regression
3. from sklearn.neighbors import KNeighborsRegressor
4. from sklearn.inspection import permutation_importance
5. from matplotlib import pyplot
6. # define dataset
7. X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)
8. # define the model
9. model = KNeighborsRegressor()
10. # fit the model
11. model.fit(X, y)
12. # perform permutation importance
13. results = permutation_importance(model, X, y, scoring='neg_mean_squared_error')
14. # get importance
15. importance = results.importances_mean
16. # summarize feature importance
17. for i,v in enumerate(importance):
18. print('Feature: %0d, Score: %.5f' % (i,v))
19. # plot feature importance
20. pyplot.bar([x for x in range(len(importance))], importance)
21. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

1. Feature: 0, Score: 175.52007
2. Feature: 1, Score: 345.80170
3. Feature: 2, Score: 126.60578
4. Feature: 3, Score: 95.90081
5. Feature: 4, Score: 9666.16446
6. Feature: 5, Score: 8036.79033
7. Feature: 6, Score: 929.58517
8. Feature: 7, Score: 139.67416
9. Feature: 8, Score: 132.06246
10. Feature: 9, Score: 84.94768

然后为特征重要性得分创建条形图。

5.2随机排序（分类）特征重要性

下面列出了拟合KNeighborsClassifier并且计算特征重要性得分的完整示例。

1. # permutation feature importance with knn for classification
2. from sklearn.datasets import make_classification
3. from sklearn.neighbors import KNeighborsClassifier
4. from sklearn.inspection import permutation_importance
5. from matplotlib import pyplot
6. # define dataset
7. X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=5, random_state=1)
8. # define the model
9. model = KNeighborsClassifier()
10. # fit the model
11. model.fit(X, y)
12. # perform permutation importance
13. results = permutation_importance(model, X, y, scoring='accuracy')
14. # get importance
15. importance = results.importances_mean
16. # summarize feature importance
17. for i,v in enumerate(importance):
18. print('Feature: %0d, Score: %.5f' % (i,v))
19. # plot feature importance
20. pyplot.bar([x for x in range(len(importance))], importance)
21. pyplot.show()

运行示例，拟合模型，然后输出每个特征的系数值。

结果表明，这十个特征中的两个或三个可能对预测很重要。

1. Feature: 0, Score: 0.04760
2. Feature: 1, Score: 0.06680
3. Feature: 2, Score: 0.05240
4. Feature: 3, Score: 0.09300
5. Feature: 4, Score: 0.05140
6. Feature: 5, Score: 0.05520
7. Feature: 6, Score: 0.07920
8. Feature: 7, Score: 0.05560
9. Feature: 8, Score: 0.05620
10. Feature: 9, Score: 0.03080

然后为特征重要性得分创建条形图。

总结

在本教程中，您知道了在Python机器学习中的特征重要性得分。

具体来说，您了解到：

• 特征重要性在预测建模问题中的作用
• 如何从线性模型和决策树中计算和查看特征重要性
• 如何计算和查看随机排序特征重要性得分