一、什么是特征缩放

        特征缩放是一种用于标准化自变量或数据特征范围的方法。在数据处理中，也称为数据归一化，通常在数据预处理步骤中执行。

        举个例子——如果你有多个独立变量，比如年龄、薪水和身高；它们的范围分别为（18-100 年）、（25,000-75,000 欧元）和（1-2 米），特征缩放将帮助它们都处于同一范围内，例如以 0 为中心或在范围内(0,1) 取决于缩放技术。

        为了将上述内容可视化，让我们以 存放在 UCI 机器学习存储库中的“葡萄酒数据集”中的葡萄酒数据集中的酒精和苹果酸含量的自变量为例 。您可以在下面看到两种最常见的缩放技术（标准化和标准化）对数据集的影响。

二、缩放方法

1、Min-Max Normalization

        称为最小-最大缩放或最小-最大归一化，它是最简单的方法，这种技术重新缩放特征或观察值，分布值在 0 和 1 之间。

        归一化的一般公式如下：

        其中max(x) 和 min(x) 分别是特征的最大值和最小值。

        我们还可以对不同的区间进行归一化，例如选择将变量放置在任何 [a, b] 区间中，a 和 b 是实数。要重新调整任意一组值 [a, b] 之间的范围，公式变为：

2、Standardization

        特征标准化使数据中每个特征的值具有零均值和单位方差。一般的计算方法是确定每个特征的分布均值和标准差，并通过以下公式计算新的数据点。

        σ是特征向量的标准差，x̄是特征向量的平均值。

3、Scaling to unit length

        该方法的目的是缩放特征向量的分量，使得完整向量的长度为 1。这通常意味着将每个分量除以向量的欧几里得长度。

        除了上述 3 种广泛使用的方法外，还有一些其他方法可以缩放特征，即。Power Transformer、Quantile Transformer、Robust Scaler 等。

三、归一化还是标准化？

        这个问题并没有标准答案。但有一些通用的经验可以参考。

        1、当数据的分布不遵循高斯分布时，归一化很适合。它在不假设任何数据分布（如 K-最近邻）的算法中很有用。

        2、在需要 0-1 尺度数据的神经网络算法中，归一化是必不可少的预处理步骤。数据归一化的另一个流行示例是图像处理，其中必须对像素强度进行归一化以适应特定范围（即 RGB 颜色范围为 0 到 255）。

        3、在数据遵循高斯分布的情况下，标准化 可能会有所帮助。虽然这不一定是真的。由于标准化没有边界范围，因此，即使数据中存在异常值，它们也不会受到标准化的影响。

        4、在聚类分析中，标准化可以方便地根据某些距离度量比较特征之间的相似性。另一个突出的例子是主成分分析，我们通常更喜欢标准化而不是 Min-Max 缩放，因为我们对最大化方差的组件感兴趣。

        在决定是否需要标准化或标准化时，可以考虑一些要点

• 当数据表示高斯分布时可以使用标准化，而标准化对于非高斯分布非常有用
• 异常值的影响在标准化中非常高

        总而言之， 您始终可以从将模型拟合到原始、标准化和标准化数据开始，然后比较性能以获得最佳结果。

四、数据缩放的影响

1、基于梯度下降的算法

        如果算法使用梯度下降，那么特征范围的差异将导致每个特征的步长不同。为了确保梯度下降平稳地向最小值移动，并且梯度下降的步骤以相同的速率更新所有特征，我们在将数据输入模型之前对其进行缩放。具有相似规模的特征将有助于梯度下降更快地收敛到最小值。

        具体来说，在神经网络算法的情况下，特征缩放有利于优化：

• 它使训练更快
• 它可以防止优化陷入局部最优
• 它提供了更好的误差表面形状
• 可以更方便地进行权重衰减和贝叶斯优化

2、基于距离的算法

        KNN、K-means 和 SVM 等基于距离的算法受特征范围的影响最大。这是因为他们在幕后使用数据点之间的距离来确定它们的相似性，从而执行手头的任务。因此，我们在采用基于距离的算法之前对数据进行缩放，以便所有特征对结果的贡献相同。

3、使用 PCA 进行特征工程

        在 PCA 中，我们对使方差最大化的组件感兴趣。如果一个组成部分（例如年龄）由于它们各自的比例而变化小于另一个组成部分（例如薪水），如果这些特征没有按比例缩放，PCA 可能会确定最大方差的方向更接近于“薪水”轴。由于一岁的变化可以被认为比一欧元的工资变化重要得多，这显然是不正确的。

 4、回归

        在回归中，通常建议对特征进行缩放，使预测变量的平均值为 0。当预测变量值设置为其平均值时，这使得截距项更容易解释为 Y 的预期值。

5、基于树的算法

        不需要进行特征缩放。

        基于树的算法对特征的规模相当不敏感。决策树仅基于单个特征拆分节点。决策树在增加节点同质性的特征上分割节点。一个特征上的这种分割不受其他特征的影响。因此，其余特征对拆分几乎没有影响。这就是使它们不受特征规模影响的原因。

五、特征缩放示例

1、数据集

2、参考代码

# Python code explaining How to
# perform Feature Scaling

""" PART 1
	Importing Libraries """

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

# Sklearn library
from sklearn import preprocessing

""" PART 2
	Importing Data """

data_set = pd.read_csv('C:\\Users\\dell\\Desktop\\Data_for_Feature_Scaling.csv')
data_set.head()

# here Features - Age and Salary columns
# are taken using slicing
# to handle values with varying magnitude
x = data_set.iloc[:, 1:3].values
print ("\nOriginal data values : \n", x)


""" PART 4
	Handling the missing values """

from sklearn import preprocessing

""" MIN MAX SCALER """

min_max_scaler = preprocessing.MinMaxScaler(feature_range =(0, 1))

# Scaled feature
x_after_min_max_scaler = min_max_scaler.fit_transform(x)

print ("\nAfter min max Scaling : \n", x_after_min_max_scaler)


""" Standardisation """

Standardisation = preprocessing.StandardScaler()

# Scaled feature
x_after_Standardisation = Standardisation.fit_transform(x)

print ("\nAfter Standardisation : \n", x_after_Standardisation)

3、归一化结果

 [[ 0.33333333  0.86585366]
 [ 0.          0.57317073]
 [ 0.05882353  0.64634146]
 [ 0.21568627  0.73170732]
 [ 0.25490196  0.        ]
 [ 0.15686275  0.69512195]
 [ 1.          0.62195122]
 [ 0.41176471  0.95121951]
 [ 0.45098039  1.        ]
 [ 0.19607843  0.80487805]]

4、标准化结果

 [[ 0.09536935  0.66527061]
 [-1.15176827 -0.43586695]
 [-0.93168516 -0.16058256]
 [-0.34479687  0.16058256]
 [-0.1980748  -2.59226136]
 [-0.56487998  0.02294037]
 [ 2.58964459 -0.25234403]
 [ 0.38881349  0.98643574]
 [ 0.53553557  1.16995867]
 [-0.41815791  0.43586695]]

系列文章目录

第七章 Python 机器学习入门之特征缩放与多项式回归

前言

特征缩放可以使得梯度下降 gradient descent 的幅度更大，程序运行的更快，因为有些时候如果一个特征值太大，那么它对应的参数就会很小，一个很小的改变，都会对输出结果产生很大的影响，在进行梯度下降时，也会花费很大的时间，解决这个问题的方法就是特征缩放。

一、特征缩放是什么？

我们先来看看特征的大小，也就是特征的数值大小与相关参数的大小之间的关系

举个例子，我们使用两个特征值X来预测房子的价格，

假设这两个特征值分别是：x1房子的大小, x2卧室的数量
很明显x1 要比 x2 大的多

如果已知一个房子的大小为2000，有5个卧室，价格为500k，我们来求其它两个参数w1,w2

不难发现当一个特征x1较大时，与之对应的参数w1应该较小，反之也是一样

下面来看看特征的散点图，左边，
横轴 房子的大小 这个特征值 比 纵轴 卧室的规模 这个特征值 要大得多，或者说取值的范围要大得多

来看看代价函数的等高线图，右边，横轴 参数的取值范围很小，纵轴很大，这说明w1一个很小的变化都会对 估计价格 产生很大的影响，对代价函数也会有很大的影响，因为w1要乘以一个很大的数 房子的大小，而w2 与之相反。

如果我们直接使用训练数据，当使用梯度下降来使得代价函数最小化时，它可能会来回跳很长时间才能找到，原因就是w1一个很小的变化都会对代价函数产生很大的影响，

为了解决这个问题，一个有用的做法就是特征缩放，就是对训练数据做一些转换，

如果我们可以将两个特征的取值范围都缩放到0到1之间，
那么使用梯度下降来找到代价函数最小值是不是更加简单了。

二、如何去实现特征缩放

1.将特征值除以最大值

如果一个特征x1 的取值范围是300 到 2000，那么一种特征缩放的方法就是除以最大值，将x1/2000，缩放后x1的取值范围在0.15到1之间。

2.均值归一化

另一种方法是均值归一化，重新计算训练数据，使它们都在0 附近，取值范围在（-1，1）间，
如果要对x1 数据进行均值归一化，我们首先要在数据集上找到平均值u1，计算公式如图

3.z-score 归一化

第三种方法是z-score 归一化，我们需要计算每个特征的标准差和平均值

标准差的求法：

1. 计算数据的平均值 u1

2. 计算方差，将每个数据减去平均值，取平方，再除以数据的个数

3. 将方差开平方，得到的结果就是标准差

总结一下，当我们的特征值的取值范围太大或者太小时，使用梯度下降来使得代价函数最小化会很慢，这时候我们一般都会进行特征缩放。

总结

总结一下，当我们的特征值的取值范围太大或者太小时，使用梯度下降来使得代价函数最小化会很慢，这时候我们一般都会进行特征缩放。

引言

特征缩放是机器学习预处理数据中最重要的步骤之一，它有时能决定学习模型的好坏。

特征缩放的作用如下：

1. 加快梯度下降
2. 提升模型精度(消除不同量纲)
3. 防止梯度爆炸(消除过大值的影响)

为什么要特征缩放

在机器学习算法处理数据时通常是忽略数据的单位信息的，或者说不知道这些数据代表什么。比如50kg和50公里代表着两个不同的度量，人类是很容易区分它们的。但是对于机器来说，这两个数据是一样的。

import pandas as pd
import numpy as np
data = np.array([[1,172,30000],[2,160,60000],[3,175,50000],[4,180,5000]])

df = pd.DataFrame(data,columns=['staff','height','salary'])
df

我们来看下上面的表格，上面是员工身高与薪水的表格。我们人类看到数字172(cm)知道就是身高，看到5000知道肯定是薪水。但是机器就不知道。

假设用神经网络来学习这份数据，那么就会导致取值范围更大的薪水会主导模型的训练，也就是模型会偏向于薪水，但通常我们不希望我们的算法一开始就偏向于某个特征。

假设我们尝试计算两个员工的欧氏距离，在特征缩放之前的结果是：

员工1和员工2的距离: $\sqrt{(172-160{)}^2+(30000-60000{)}^2}=30000.002$
员工2和员工3的距离: $\sqrt{(160-175{)}^2+(60000-50000{)}^2}=10000.011$

从上面的结果可以看到它们的距离基本上就是薪水的差值。

而在经过最大最小值归一化后(下文会讲到)的结果是：
员工1和员工2的距离: $\sqrt{(0-0.6{)}^2+(0.45-1{)}^2}=0.814$
员工2和员工3的距离: $\sqrt{(160-175{)}^2+(60000-50000{)}^2}=0.773$

显然经过特征缩放后的结果更具有可比性。

这个问题不仅会出现在神经网络里面，还会出现在任何基于距离计算的算法中。特征缩放就可以解决这个问题。

特征缩放有哪些方法

有很多种特征缩放的方法，我们一一来分析。

均值归一化(Mean Normalization)

将数值范围缩放到$[-1,1]$区间里，数据的均值变为$0$

$$x^{\prime }=\frac{x-mean(x)}{max(x)-min(x)}$$

以上面的例子说明，假设我们要均值归一化员工1的薪水。那么$mean(x)=36250,max(x)=60000,min(x)=5000$

$$x^{\prime }=\frac{30000-36250}{60000-5000}=-0.1136$$

下面是对薪水和身高进行均值归一化的结果：

data_mean = data[:,1:]
data_mean = (data_mean - data_mean.mean(axis=0)) / (data_mean.max(axis=0) - data_mean.min(axis=0))

pd.DataFrame(np.c_[np.arange(1,5),data_mean],columns=['staff','height','salary'])

最大最小值归一化(Min-Max Normalization)

最大最小值归一化简称为归一化，将数值范围缩放到$[0,1]$区间里

$$x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}$$

以上面的例子说明，假设我们要最大最小值归一化员工1的薪水。那么$mean(x)=36250,max(x)=60000,min(x)=5000$

$$x^{\prime }=\frac{30000-5000}{60000-5000}=0.455$$

下面是对薪水和身高进行均最大最小值归一化的结果：

data_min_max = data[:,1:]
data_min_max = (data_min_max - data_min_max.min(axis=0)) / (data_min_max.max(axis=0) - data_min_max.min(axis=0))

pd.DataFrame(np.c_[np.arange(1,5),data_min_max],columns=['staff','height','salary'])

标准化/z值归一化(Standardization/Z-Score Normalization)

标准化又叫z值归一化，将数值缩放到0附近，且数据的分布变为均值为0，标准差为1的标准正态分布。

$$x^{\prime }=\frac{x-mean(x)}{\sigma (x)}$$

$\sigma (x)$是$x$的标准差,计算公式为：
$$\sigma (x)=\sqrt{\frac{1}{N}\sum _{i=1}^N(x_i-mean(x){)}^2}$$

以上面的例子说明，假设我们要标准化员工1的薪水。那么$mean(x)=36250,\sigma (x)=21028$

$$x^{\prime }=\frac{30000-36250}{21028}=-0.2972$$

下面是对薪水和身高进行标准化的结果：

data_std = data[:,1:]
data_std = (data_std - data_std.mean(axis=0)) / (data_std.std(axis=0))

pd.DataFrame(np.c_[np.arange(1,5),data_std],columns=['staff','height','salary'])

常见问题&注意事项

哪些算法需要特征缩放

特征缩放对基于距离的算法特别重要。因此像KNN、线性回归、逻辑回归、SVM等都需要特征缩放。
不基于距离的算法像朴素贝叶斯以及基于树结构的算法(决策树、随机森林)等不需要特征缩放。

另外，0/1取值的特征不需要归一化。

归一化还是标准化

• 如果你知道数据分布不是正态分布，那么使用归一化。像用在KNN和NN这种不假设数据分布的算法就很合适。 最大最小值归一化容易受异常值影响，常用于归一化图像的灰度值。
• 当数据是正态分布时进行标准化是很有帮助的，不像归一化，标准化的数据没有限定范围，对异常值不敏感。
• 然后，具体的选择还是依赖于你的数据或算法，通常最好归一化和标准化都尝试一下，看哪种方法好。

注意事项

需要先把数据拆分成训练集与验证集，在训练集上计算出需要的数值（如均值和标准值），对训练集数据做标准化/归一化处理（不要在整个数据集上做标准化/归一化处理，因为这样会将验证集的信息带入到训练集中，这是一个非常容易犯的错误），然后再用之前计算出的数据（如均值和标准值）对验证集数据做相同的标准化/归一化处理。

参考

1. https://www.cnblogs.com/HuZihu/p/9761161.html
2. https://www.analyticsvidhya.com/blog/2020/04/feature-scaling-machine-learning-normalization-standardization
3. https://machinelearningknowledge.ai/feature-scaling-machine-learning/