一、概述
实际的数据库极易受到噪声、缺失值和不一致数据的侵扰，因为数据库太大，并且多半来自多个异种数据源，低质量的数据将会导致低质量的数据分析结果，大量的数据预处理技术随之产生。本文让我们来看一下数据预处理中常用的数据转换和归一化方法都有哪些。
二、数据转换（Data Transfer）
对于字符型特征的处理：转换为字符型。
数据转换其实就是把一些字符型数据转换为计算机可以识别的数值型数据的过程，例如我们有性别这个属性，其中有“男”、“女”这两个元素，那我们就可以用数字0代表“男”，1代表“女”。
用python代码来实现一下：
```python
import pandas as pd

data = {'性别' : ['男', '女', '男', '女', '女']}
df = pd.DataFrame(data)
print(df)
```
```python
df[u'性别'] = df[u'性别'].map({'男': 1, '女': 0})
print(df)
```
三、零均值归一化（Z-Score Normalization）
说到零均值归一化，我们就要先来聊聊归一化是什么。
归一化是我们在数据预处理中经常要用到的方法。假设我们通过一个人的身高和体重去判断一个人的胖瘦，有一个人的身高为1.80m体重为80kg，大家都知道胖瘦是由身高和体重共同来决定的，但是此时体重的数值远远大于身高，也就会导致在计算的时候体重被赋予更高的权重，最终导致预测结果不准确，此时我们就会想到把两种属性映射到一个范围内去计算，这种方法就叫做归一化。
了解了归一化，再让我们来了解一下零均值归一化。零均值归一化也叫Z-score规范化（零均值标准化），该方法要求变换后各维特征的均值为0，方差为1，计算方式是将特征值减去均值，再除以标准差。
公式：$z-score = frac{x_i - mu}{sigma}$
**注：我们一般会把train和test放在一起做标准化**
用python代码来实现一下：
```python
from sklearn.preprocessing import StandardScaler, MinMaxScaler
import pandas as pd 

views = pd.DataFrame([1295., 25., 1900., 50., 100., 300.], columns=['views'])
print(views)
```
```python
ss = StandardScaler()
views['zscore'] = ss.fit_transform(views[['views']])
```
根据结果我们可以看到，属性views被缩放到了很小的范围内，也成功避免了属性值间差异过大的问题。
四、最大最小归一化（Min-Max Scaling）
归一化的另一种常用方法就是最大最小归一化（线性函数归一化），该方法将所有的数据变换到[0,1]区间内。
公式：$frac{x_i - min(x)}{max(x) - min(x)}$
用python代码来实现一下：
```python
mms = MinMaxScaler()
views['minmax'] = mms.fit_transform(views[['views']])
print(views)
```
根据结果我们可以看出，最大最小归一化相比于零均值归一化而言映射到了一个更小的空间内
五、为什么要进行归一化
我们不妨从随机梯度下降的角度来思考一下，假设有两种数值型特征，x1的取值范围是[0,100]，x2的取值范围是[0,10]，我们就可以构造出一个图1中a的图形。当我们的学习速率相同的时候，很明显x1的更新速度会大于x2的更新速度，也就会导致收敛速度变慢，但是当我们把x1和x2归一化到同一个数值空间时，就会变成图1中b的图形，x1和x2的更新速度保持一致，从而加快了收敛速度。
六、小结
1、在实际应用中，通过梯度下降法进行求解的模型通常都是需要进行归一化的，例如：线性回归、逻辑回归、支持向量机、神经网络等。而决策树模型中信息增益与数据是否经过了归一化没有关系，此时是不需要进行归一化的。
2、在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，零均值归一化表现的更好。
3、在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用最大最小归一化或其他归一化方法。

文章目录
有什么用？
原理是什么，怎么计算？
怎么用？

有什么用？
批归一化（Batch Normalization，BatchNorm）是由Ioffe和Szegedy于2015年提出的，目前已被广泛应用在深度学习中，其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。


什么意思呢？

就是这些专家认为啊，模型的收敛需要稳定的数据分布。


什么叫稳定的数据分布呢？

以图像处理为例，我们一般会对图像进行预处理，做归一化操作，把[0, 255]之间的数值限制在[-1, 1]之间（均值为0，方差为1），这样数据分布波动就不算大。不然你时而输入为[0.1]时而输入为[255.]对算法来说很难去适应这种数据分布，也就很难收敛。


那再输入模型之前做一遍归一化就行了，为什么还要在神经网络中间层的数据进行归一化处理呢？

其实对于浅层网络对输入数据做一遍归一化处理确实就可以了，模型的效果不错。但是对于深层网络,即使你的输入数据已经做过标准化的处理，但是对于那些比较靠后的层，随着参数的不断更新，其接受到的输入仍然是剧烈变化的，导致数值不稳定，难以收敛


所以，Batch Normalization 就是为提升深层网络中的数值稳定性所提出来的方法，能够使神经网络中间层的输出变得更加稳定，有以下三个优点：

使学习快速进行（能够使用较大的学习率）
降低模型对初始值的敏感性
从一定程度上抑制过拟合

原理是什么，怎么计算？
BatchNorm主要思路是在训练时按mini-batch为单位，对神经元的数值进行归一化，使数据的分布满足均值为0，方差为1。分为以下四步：

Step 1: 计算mini-batch内样本均值:



Step 2: 计算mini-batch内样本方差:



Step 3: 计算标准化输出:



其中分母还要加一个‘ε’，它是一个很小的值，比如1e-7，主要是为了避免分母为0的情况。
Step 4: 平移和缩放:



因为，研究者认为如果强行地限制每一层的输出都是标准化的，可能会导致某些特征模式的丢失。所以，在标准化之后，BatchNorm就还会做一个缩放和平移。

其中γ和β这两个参数都是可学习的，可以赋初值，一般是（γ=1,β=0）
怎么用？
上面的参数更新都是只在训练过程中才会用到，在预测时，我们不会再计算输入样本的均值和方差，以及更新γ,β两个参数。
其实要这么做的原因很简单，比如现在有两个Batch数据传入到模型中，batch_size=4：

其中Batch1=[A, B, C, D]，经过BatchNorm得到[a1, b, c, d]；
Batch2=[A, X, Y, Z]，经过BatchNorm得到[a2, x, y, z]；
这样算出来，a1 ≠ a2。

而我们需要的效果是，同样的数据在预测时，它每一次传入模型，所得到的数据分布都应该是一样的。不然样本的预测结果就会变得不确定，这对预测过程来说是不合理的的，所以我们需要在训练过程中将大量样本的均值和方差存储下来，预测时不计算样本内的均值和方差，而是使用训练时保存值。
训练：滚动平均的方式，计算整个数据集上的均值和方差，并保存



测试：直接加载训练时保存的均值和方差

机器学习中，为什么要进行数据标准化或者归一化？
应用条件
原理分析
实例佐证

应用条件
我们在翻阅各种资料时，在数据预处理步骤，经常会看到对数据进行标准化或者归一化，那么这么做的好处是什么？
1、这样处理后加快了梯度下降求最优解的速度；

2、有可能提高精度；
但是，理解这句话后，你会发现，这是有应用条件的，即：

1、适用于用梯度下降法求参数的算法；

2、适用于基于距离的算法；
比如树模型这种基于概率的，是没有作用的。
原理分析
1、为什么这样处理后加快了梯度下降求最优解的速度？

原因很简单，比如我们有这样一个2元线性回归方程：
$h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2$

斯坦福机器学习视频做了很好的解释：https://class.coursera.org/ml-003/lecture/21
如下图所示，蓝色的圈圈图代表的是两个特征的等高线。其中左图两个特征X1和X2的区间相差非常大，X1区间是[0,2000]，X2区间是[1,5]，其所形成的等高线非常尖。当使用梯度下降法寻求最优解时，很有可能走“之字型”路线（垂直等高线走），从而导致需要迭代很多次才能收敛；
而右图对两个原始特征进行了归一化，其对应的等高线显得很圆，在梯度下降进行求解时能较快的收敛。

因此如果机器学习模型使用梯度下降法求最优解时，归一化往往非常有必要，否则很难收敛甚至不能收敛。


2、为什么有可能提高精度？
一些机器学习算法需要计算样本之间的距离（如欧氏距离），例如 KNN、K-means 等。如果一个特征值域范围非常大，那么距离计算就主要取决于这个特征，其他特征的影响就会很低，但是假如这时实际情况是值域范围小的特征更重要，那么最终模型的效果就会变差。
实例佐证
sklearn里面生成的数据集本身量纲就差不多，效果不明显，这里上秦秉丰机器学习里的数据集：

import numpy as np
x = np.array([[-1.7612000e-02,  1.4053064e+01],
       [-1.3956340e+00,  4.6625410e+00],
       [-7.5215700e-01,  6.5386200e+00],
       [-1.3223710e+00,  7.1528530e+00],
       [ 4.2336300e-01,  1.1054677e+01],
       [ 4.0670400e-01,  7.0673350e+00],
       [ 6.6739400e-01,  1.2741452e+01],
       [-2.4601500e+00,  6.8668050e+00],
       [ 5.6941100e-01,  9.5487550e+00],
       [-2.6632000e-02,  1.0427743e+01],
       [ 8.5043300e-01,  6.9203340e+00],
       [ 1.3471830e+00,  1.3175500e+01],
       [ 1.1768130e+00,  3.1670200e+00],
       [-1.7818710e+00,  9.0979530e+00],
       [-5.6660600e-01,  5.7490030e+00],
       [ 9.3163500e-01,  1.5895050e+00],
       [-2.4205000e-02,  6.1518230e+00],
       [-3.6453000e-02,  2.6909880e+00],
       [-1.9694900e-01,  4.4416500e-01],
       [ 1.0144590e+00,  5.7543990e+00],
       [ 1.9852980e+00,  3.2306190e+00],
       [-1.6934530e+00, -5.5754000e-01],
       [-5.7652500e-01,  1.1778922e+01],
       [-3.4681100e-01, -1.6787300e+00],
       [-2.1244840e+00,  2.6724710e+00],
       [ 1.2179160e+00,  9.5970150e+00],
       [-7.3392800e-01,  9.0986870e+00],
       [-3.6420010e+00, -1.6180870e+00],
       [ 3.1598500e-01,  3.5239530e+00],
       [ 1.4166140e+00,  9.6192320e+00],
       [-3.8632300e-01,  3.9892860e+00],
       [ 5.5692100e-01,  8.2949840e+00],
       [ 1.2248630e+00,  1.1587360e+01],
       [-1.3478030e+00, -2.4060510e+00],
       [ 1.1966040e+00,  4.9518510e+00],
       [ 2.7522100e-01,  9.5436470e+00],
       [ 4.7057500e-01,  9.3324880e+00],
       [-1.8895670e+00,  9.5426620e+00],
       [-1.5278930e+00,  1.2150579e+01],
       [-1.1852470e+00,  1.1309318e+01],
       [-4.4567800e-01,  3.2973030e+00],
       [ 1.0422220e+00,  6.1051550e+00],
       [-6.1878700e-01,  1.0320986e+01],
       [ 1.1520830e+00,  5.4846700e-01],
       [ 8.2853400e-01,  2.6760450e+00],
       [-1.2377280e+00,  1.0549033e+01],
       [-6.8356500e-01, -2.1661250e+00],
       [ 2.2945600e-01,  5.9219380e+00],
       [-9.5988500e-01,  1.1555336e+01],
       [ 4.9291100e-01,  1.0993324e+01],
       [ 1.8499200e-01,  8.7214880e+00],
       [-3.5571500e-01,  1.0325976e+01],
       [-3.9782200e-01,  8.0583970e+00],
       [ 8.2483900e-01,  1.3730343e+01],
       [ 1.5072780e+00,  5.0278660e+00],
       [ 9.9671000e-02,  6.8358390e+00],
       [-3.4400800e-01,  1.0717485e+01],
       [ 1.7859280e+00,  7.7186450e+00],
       [-9.1880100e-01,  1.1560217e+01],
       [-3.6400900e-01,  4.7473000e+00],
       [-8.4172200e-01,  4.1190830e+00],
       [ 4.9042600e-01,  1.9605390e+00],
       [-7.1940000e-03,  9.0757920e+00],
       [ 3.5610700e-01,  1.2447863e+01],
       [ 3.4257800e-01,  1.2281162e+01],
       [-8.1082300e-01, -1.4660180e+00],
       [ 2.5307770e+00,  6.4768010e+00],
       [ 1.2966830e+00,  1.1607559e+01],
       [ 4.7548700e-01,  1.2040035e+01],
       [-7.8327700e-01,  1.1009725e+01],
       [ 7.4798000e-02,  1.1023650e+01],
       [-1.3374720e+00,  4.6833900e-01],
       [-1.0278100e-01,  1.3763651e+01],
       [-1.4732400e-01,  2.8748460e+00],
       [ 5.1838900e-01,  9.8870350e+00],
       [ 1.0153990e+00,  7.5718820e+00],
       [-1.6580860e+00, -2.7255000e-02],
       [ 1.3199440e+00,  2.1712280e+00],
       [ 2.0562160e+00,  5.0199810e+00],
       [-8.5163300e-01,  4.3756910e+00],
       [-1.5100470e+00,  6.0619920e+00],
       [-1.0766370e+00, -3.1818880e+00],
       [ 1.8210960e+00,  1.0283990e+01],
       [ 3.0101500e+00,  8.4017660e+00],
       [-1.0994580e+00,  1.6882740e+00],
       [-8.3487200e-01, -1.7338690e+00],
       [-8.4663700e-01,  3.8490750e+00],
       [ 1.4001020e+00,  1.2628781e+01],
       [ 1.7528420e+00,  5.4681660e+00],
       [ 7.8557000e-02,  5.9736000e-02],
       [ 8.9392000e-02, -7.1530000e-01],
       [ 1.8256620e+00,  1.2693808e+01],
       [ 1.9744500e-01,  9.7446380e+00],
       [ 1.2611700e-01,  9.2231100e-01],
       [-6.7979700e-01,  1.2205300e+00],
       [ 6.7798300e-01,  2.5566660e+00],
       [ 7.6134900e-01,  1.0693862e+01],
       [-2.1687910e+00,  1.4363200e-01],
       [ 1.3886100e+00,  9.3419970e+00],
       [ 3.1702900e-01,  1.4739025e+01]])


y= np.array([0., 1., 0., 0., 0., 1., 0., 1., 0., 0., 1., 0., 1., 0., 1., 1., 1.,
       1., 1., 1., 1., 1., 0., 1., 1., 0., 0., 1., 1., 0., 1., 1., 0., 1.,
       1., 0., 0., 0., 0., 0., 1., 1., 0., 1., 1., 0., 1., 1., 0., 0., 0.,
       0., 0., 0., 1., 1., 0., 1., 0., 1., 1., 1., 0., 0., 0., 1., 1., 0.,
       0., 0., 0., 1., 0., 1., 0., 0., 1., 1., 1., 1., 0., 1., 0., 1., 1.,
       1., 1., 0., 1., 1., 1., 0., 0., 1., 1., 1., 0., 1., 0., 0.])

再用我们写好的逻辑回归类：

链接: 手写算法-python代码实现逻辑回归（带L1、L2正则项）
class LogisticRegression:
    
    #默认没有正则化，正则项参数默认为1，学习率默认为0.001，迭代次数为10001次
    def __init__(self,penalty = None,Lambda = 1,a = 0.001,epochs = 10001):
        self.W = None
        self.penalty = penalty
        self.Lambda = Lambda
        self.a = a
        self.epochs =epochs
        self.sigmoid = lambda x:1/(1 + np.exp(-x))
        
    def loss(self,x,y):
        m=x.shape[0]
        y_pred = self.sigmoid(x * self.W)
        return (-1/m) * np.sum((np.multiply(y, np.log(y_pred)) + np.multiply((1-y),np.log(1-y_pred))))
    
    def fit(self,x,y):
        lossList = []
        #计算总数据量
        m = x.shape[0]
        #给x添加偏置项
        X = np.concatenate((np.ones((m,1)),x),axis = 1)
        #计算总特征数
        n = X.shape[1]
        #初始化W的值,要变成矩阵形式
        self.W = np.mat(np.ones((n,1)))
        #X转为矩阵形式
        xMat = np.mat(X)
        #y转为矩阵形式，这步非常重要,且要是m x 1的维度格式
        yMat = np.mat(y.reshape(-1,1))
        #循环epochs次
        for i in range(self.epochs):
            #预测值
            h = self.sigmoid(xMat * self.W)
            gradient = xMat.T * (h - yMat)/m
            
            
            #加入l1和l2正则项，和之前的线性回归正则化一样
            if self.penalty == 'l2':
                gradient = gradient + self.Lambda * self.W
            elif self.penalty == 'l1':
                gradient = gradient + self.Lambda * np.sign(self.W)
          
            self.W = self.W-self.a * gradient
            if i % 50 == 0:
                lossList.append(self.loss(xMat,yMat))
        #返回系数，和损失列表
        return self.W,lossList


没有做标准化前：

lr = LogisticRegression()
w,lossList = lr.fit(x,y)
#这里感觉其实处理x,y不应该放在封装好的类里面处理，应该拿出来，作为全局变量使用，优化点
m=x.shape[0]
X = np.concatenate((np.ones((m,1)),x),axis=1)
xMat = np.mat(X)
y_pred = [1 if x>=0.5 else 0 for x in lr.sigmoid(xMat*w)]

from sklearn.metrics import classification_report
print(classification_report(y,y_pred))


做标准化之后：
from sklearn import preprocessing 
x_1 = preprocessing.scale(x)

lr = LogisticRegression()
w,lossList = lr.fit(x_1,y)
#这里感觉其实处理x,y不应该放在封装好的类里面处理，应该拿出来，作为全局变量使用，优化点
m=x_1.shape[0]
X = np.concatenate((np.ones((m,1)),x_1),axis=1)
xMat = np.mat(X)
y_pred = [1 if x>=0.5 else 0 for x in lr.sigmoid(xMat*w)]

from sklearn.metrics import classification_report
print(classification_report(y,y_pred))


性能确实有了提高。

在机器学习中，会有许多数据需要处理，其中一个就是归一化处理。它对于奇异数据的处理的作用和我们为什么要用归一化在下面这一篇文章。

https://blog.csdn.net/zenghaitao0128/article/details/78361038

训练神经网络，其中一个加速训练的方法就是归一化输入。

假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：

1、零均值   均值用μ表示。它是一个向量，x等于每个训练数据x减去μ，意思是移动训练集，直到它完成零均值化。

      ，

这就是第一个图变为第二个图的过程。

2、归一化方差

注意特征x2比特征x1的方差要大得多。在这里我们是要给赋值。

，

是一个向量，它的每一个特征都有一个方差。我们再把所有数据除以。则从第二个到第三个图所示。

在这里，除以方差我不是很理解，自己写了几个数除了一下，发现就是离均值近的会变远，离得远的会变近。也就可以把狭长的数据域变得圆润一点了。

我们不希望训练集和测试集的归一化有所不同，则我们要保证训练集和测试集合的μ和是一样的，而不是分别进行估值。



实际上如果假设特征范围x1在0-1之间，x2的范围在-1到1之间，x3范围在1-2之间，它们是相似范围，所以会表现得很好。

当它们在非常不同的取值范围内，如其中一个从1到1000，另一个从0到1，这对优化算法非常不利。但是仅将它们设置为均化零值，假设方差为1，就像上一张幻灯片里设定的那样，确保所有特征都在相似范围内，通常可以帮助学习算法运行得更快。

所以如果输入特征处于不同范围内，可能有些特征值从0到1，有些从1到1000，那么归一化特征值就非常重要了。如果特征值处于相似范围内，那么归一化就不是很重要了。执行这类归一化并不会产生什么危害，所以通常可以做归一化处理，虽然不确定它能否提高训练或算法速度。