一、什么是正则化，用来干嘛的？
 
正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。
 
因为机器学习的理论来源于数学，正则化的概念被很好的引用到机器学习模型中，主要作用是防止模型过拟合。
 
我们的模型训练时，比如常见的深度学习模型，可能往往会因为神经元的数目和网络的层数过于庞大，模型具有非常强大的学习能力，但是能力过强不是一件好事，因为过分学习了训练集的数据特点，能在训练集上取得一个非常好的结果，但是在测试集可能会随着训练误差反而不断变大，这就是常说的过拟合问题。
 
通常出现过拟合要么是数据集本身的质量问题，比如数据集内容分布不均匀，导致划分的训练集和测试集数据内容差别过大，特别是数据集本身数据量很少的时候，往往容易导致分布不均，所以后面又提出了很多数据增强的方法。再者是模型的问题，之前提到，如果模型过于复杂，拥有太过强大的学习能力，在训练集上表现很好但是测试集却越来越差，就是模型结构过于复杂导致的过拟合问题了，这个时候的解决方法就是减弱模型的复杂度，要么我们直接修改神经网络模型的层数或者每层神经元的个数，当然这样的方法很多时候不一定能带来好的效果，因为就是当我们的模型不能在训练集取得很好的拟合效果才考虑增大模型的复杂度，结果又导致过拟合问题，随着模型神经网络层数的增加，模型往往能够更好的学习到某些潜在的数据特征，所以最好是保证在原始的模型的结构基础不变的情况下做一定的修改，于是正则化被提出来使用。
 
正则化最直白的理解就是通过添加一些系数削弱深度学习模型中某些神经元输出的数据权重，因为神经网络就是靠这些神经元不断的拟合数据集，从而使得模型不会过分拟合训练集，而同时保证在验证集和训练集都有较好的效果。
 
二、L1正则化，L2正则化和Dropout正则化
 
2.1 L1正则化，L2正则化
 
L1正则化和L2正则化差别不大，先抛出公式如下：
 
 （L1正则化公式）
 

 （L2正则化公式）
 
模型的目标是优化损失函数，上面的正则化公式就是在损失函数后面加上了所谓的正则项，可以看到L2仅仅是L1的正则项取平方，所以两者在结构上差别不大。C为一个常数系数，需要人为设置，w为和损失函数中的wT一样都是神经网络的权重参数。
 
直观理解为：因为模型的目标是优化损失函数，使得损失函数尽可能降低趋近于0，因为后面添加了这么一个正则项，于是损失函数被干扰，可以理解为，如果模型的学习能力过于强大（也就是容易出现过拟合问题），那么||w||也会增大，就会间接导致现在的损失函数变大（现在的损失函数是原来的损失函数的基础上加了正则项），那么模型又需要反复调节，使得不断训练达到一个w不会过分大和损失函数也尽可能小的平衡点，此时的话就有效的使得模型不会轻易过拟合。
 
但是在后来的发展中，L1和L2正则化不仅仅是对目标损失函数作用，也被利用作用在神经网络中每个神经元的权重参数w和b，或者激活函数中，其实现也是对这些参数添加一个正则项用来影响对数据集的拟合能力，这样一来L1和L2正则化方式和Dropout正则化方式有点相似了。
 
如果要想具体实现比较麻烦，不过keras里面已经封装好了具体的使用，后面会具体说明。
 
2.2 Dropout正则化
 
Dropout正则化相比L1和L2正则化方式比较简单粗暴，我们上面提到模型过于复杂（层数太多或者每层神经元太多），那么最直接的方式就是直接减少某些神经元的存在不就行了吗。Dropout的方式就是在模型训练中在某些神经元的输出部分随机产生一个很小权重系数并乘上这个输出，其作用是削弱这个神经元对整个模型拟合能力的作用，如果这个权重系数很小甚至趋近于0，那么就相当于这个神经元在神经网络中没有出现过，效果如下图所示。
 
 
同样的Dropout在keras框架中也被进行了封装，甚至说，Dropout在神经网络中的使用频率比L1和L2正则化常见，可能是使用比较简单，效果也较好。
 
三、keras框架使用L1、L2和Dropout正则化
 
3.1 L1和L2正则化的添加使用
 
之前提高L1和L2后来被作用于神经元的权重w和偏置向量b或者激活函数部分，于是keras中也分别进行了封装如下：
 
    kernel_regularizer：施加在神经元权重w上的正则项，为keras.regularizer.Regularizer对象。

    bias_regularizer：施加在神经元偏置向量b上的正则项，为keras.regularizer.Regularizer对象。

    activity_regularizer：施加在输出（激活函数）上的正则项，为keras.regularizer.Regularizer对象。
 
上面3个分别表示正则化的作用对象，keras中封装的可使用的正则项如下：
 
	#其中0.01为上面2.1小节提到的常数系数C，自己设置
	keras.regularizers.l1(0.01)#L1正则项
	keras.regularizers.l2(0.01)#L2正则项
	keras.regularizers.l1_l2(0.01)#结合了L1和L2的正则项
 
使用例子
 
from keras import regularizers
model.add(Dense(2, input_dim=10,#输入数据唯独10，输出唯独为2
                kernel_regularizer=regularizers.l1(0.01),#在权重参数w添加L1正则化
                bias_regularizer=regularizers.l2(0.01),#在偏置向量b添加L2正则化
                activity_regularizer=regularizers.l1_l2(0.01),#在输出部分添加L1和L2结合的正则化
                activation='relu'#激活函数采用ReLU
                ))
 
3.2 Dropout正则化的添加使用
 
这个就很简单了，相比L1和L2比较简洁。
 
from keras.layers import Dropout
model.add(Dense(2, input_dim=10,#输入数据唯独10，输出唯独为2
                activation='relu'#激活函数采用ReLU
                ))
model.add(Dropout(0.5))#直接在每层神经元后面添加，一般数值取0.5，也有取0.3，这个为Dropout率，可以理解为每个神经元被处理的概率。
 
希望我的分享对你的学习有所帮助，如果有问题请及时指出，谢谢~

正则化（Regularization）
 
转自：此处
 
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。
 
L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1α||w||1即为L1正则化项。
 
 
下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22α||w||22即为L2正则化项。
 
 
一般回归分析中回归ww表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。L1正则化和L2正则化的说明如下：
 
L1正则化是指权值向量ww中各个元素的绝对值之和，通常表示为||w||1||w||1
L2正则化是指权值向量ww中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2||w||2
一般都会在正则化项之前添加一个系数，Python中用αα表示，一些文章也用λλ表示。这个系数需要用户指定。
 
那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。
 
L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
稀疏模型与特征选择
 
上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？
 
稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。
 
L1和L2正则化的直观理解
 
这部分内容将解释为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的），以及为什么L2正则化可以防止过拟合。
 
L1正则化和特征选择
 
假设有如下带L1正则化的损失函数： 
 
 

 其中J0是原始的损失函数，加号后面的一项是L1正则化项，α是正则化系数。注意到L1正则化是权值的绝对值之和，JJ是带有绝对值符号的函数，因此JJ是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们在原始损失函数J0J0后添加L1正则化项时，相当于对J0J0做了一个约束。令L=α∑w|w|L=α∑w|w|，则J=J0+LJ=J0+L，此时我们的任务变成在L约束下求出J0取最小值的解。考虑二维的情况，即只有两个权值w1和w2，此时L=|w1|+|w2|L=|w1|+|w2|对于梯度下降法，求解J0J0的过程可以画出等值线，同时L1正则化的函数LL也可以在w1w2的二维平面上画出来。如下图：
 
 
 
 
 图1 L1正则化
 
图中等值线是J0的等值线，黑色方形是L函数的图形。在图中，当J0等值线与L图形首次相交的地方就是最优解。上图中J0与L在L的一个顶点处相交，这个顶点就是最优解。注意到这个顶点的值是(w1,w2)=(0,w)(w1,w2)=(0,w)。可以直观想象，因为L函数有很多『突出的角』（二维情况下四个，多维情况下更多），J0与这些角接触的机率会远大于与L其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。
 
而正则化前面的系数α，可以控制L图形的大小。α越小，L的图形越大（上图中的黑色方框）；α越大，L的图形就越小，可以小到黑色方框只超出原点范围一点点，这是最优点的值(w1,w2)=(0,w)(w1,w2)=(0,w)中的w可以取到很小的值。
 
类似，假设有如下带L2正则化的损失函数： 
 
 

 同样可以画出他们在二维平面上的图形，如下：
 
 
 
 
 图2 L2正则化
 
二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0J0与LL相交时使得w1或w2等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。
 
L2正则化和过拟合
 
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。
 
那为什么L2正则化可以获得值很小的参数？
 
以线性回归中的梯度下降法为例。假设要求的参数为θ，hθ(x)是我们的假设函数，那么线性回归的代价函数如下： 
 
 

 那么在梯度下降法中，最终用于迭代计算参数θ的迭代式为： 
 
 

 其中α是learning rate. 上式是没有添加L2正则化项的迭代公式，如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子： 
 
 

 其中λλ就是正则化参数。从上式可以看到，与未添加L2正则化的迭代公式相比，每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。
 
 
 
最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。
 
正则化参数的选择
 
L1正则化参数
 
通常越大的λλ可以让代价函数在参数为0时取到最小值。下面是一个简单的例子，这个例子来自Quora上的问答。为了方便叙述，一些符号跟这篇帖子的符号保持一致。
 
假设有如下带L1正则化项的代价函数： 
 
 

 其中xx是要估计的参数，相当于上文中提到的ww以及θθ. 注意到L1正则化在某些位置是不可导的，当λλ足够大时可以使得F(x)F(x)在x=0x=0时取到最小值。如下图：
 
 
 
 
 图3 L1正则化参数的选择
 
分别取λ=0.5和λ=2，可以看到越大的λλ越容易使F(x)在x=0时取到最小值。
 
L2正则化参数
 
从公式5可以看到，λλ越大，θj衰减得越快。另一个理解可以参考图2，λ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。
 
Reference
 
过拟合的解释： 
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html
 
正则化的解释： 
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html
 
正则化的解释： 
http://blog.csdn.net/u012162613/article/details/44261657
 
正则化的数学解释（一些图来源于这里）： 
http://blog.csdn.net/zouxy09/article/details/24971995

L1正则化、L2正则化的公式如下
 
$$\begin{gathered} \underset{w}{\min }{L}_1(w)=\underset{w}{\min }f(w)+\frac{\lambda }{n}\sum _{i=1}^n|w_i| \\ \underset{w}{\min }{L}_2(w)=\underset{w}{\min }f(w)+\frac{\lambda }{2n}\sum _{i=1}^n{w}_i^2 \end{gathered}$$
 
从优化问题的视角来看
 
$$\begin{gathered} \underset{x}{\min }L(w)<=>\underset{w}{\min }f(w) \\ s.t.\sum _{i=1}^n|w_i|<C \end{gathered}$$
 
L1正则的限制条件，在坐标轴上显示则是一个正方形，与坐标轴的交点分别是(0,C),(C,0),(0,-C),(-C,0)
 
L2正则的限制条件，在坐标轴上显示则是一个圆，与坐标轴的交点分别是(0,C),(C,0),(0,-C),(-C,0)
 
 
从梯度视角来看
 
$$\begin{gathered} \frac{\partial L_1(w)}{\partial w_i}=\frac{\partial f(w)}{\partial w_i}+\frac{\lambda }{n}sign(w_i) \\ {w}_i^{{}^{\prime }}=w_i-\eta \frac{\partial L_1(w)}{\partial w_i} \\ {w}_i^{{}^{\prime }}=w_i-\eta \frac{\partial f(w)}{\partial w_i}-\eta \frac{\lambda }{n}sign(w_i) \end{gathered}$$
 
$$\begin{gathered} \frac{\partial L_2(w)}{\partial w_i}=\frac{\partial f(w)}{\partial w_i}+\frac{\lambda }{n}{w}_i \\ {w}_i^{{}^{\prime }}=w_i-\eta \frac{\partial L_2(w)}{\partial w_i} \\ {w}_i^{{}^{\prime }}=w_i-\eta \frac{\partial f(w)}{\partial w_i}-\eta \frac{\lambda }{n}{w}_i \end{gathered}$$
 从L1$\eta \frac{\lambda }{n}sign(w_i)$和L2$\eta \frac{\lambda }{n}{w}_i$来看，L1与L2不一样的地方在于L1会减$sign(w_i)$倍的$\eta \frac{\lambda }{n}$.而L2会减$w_i$倍的$\eta \frac{\lambda }{n}$。当w_i在$[1,+\infty )$时，L2获得比L1更快的减小速率。当$w_i$在(0,1)时，L1比L2获得更快的减小速率。并且当$w_i$越小时，L1更容易减小接近于0.而L2更不容易变化，因此L1会获得更多的接近于0的w。即L1比L2更容易获得sparse的w。
 
从概率的视角来看
 
为f(w)加入正则化，相当于为f(w)的参数w加先验，那要求w满足某一分布。
 
L1正则化相当于为w加入Laplace分布的先验，L2正则化相当于为w加入Gaussian分布的先验
 
 
很明显可以观察出，在两边紫色部分，$P_G(w)<P_L(w)$，说明Gauss分布中，值大的w更少，即$L_2与L_1$相比,值大的w更少，因此L2比L1更smooth。
 
在中间红色线条区域 $P_L(w)<P_G(w)$。并且结合图来看，Gauss分布中，值很小的w和值为0的w概率接近。而laplace分布中，值很小的w概率小于值为0的w.这说明Laplace分布要求w更多为0.而高斯分布要求w小就行不一定要为0。因此L1比L2更Sparse.
 
问题，为什么L1正则先验分布时Laplace分布，L2正则先验分布时Gaussian分布。接下来从最大后验概率的角度进行推导和分析。在机器学习建模中，我们知道了x和y以后，需要对参数w进行建模。那么后验概率表达式如下：
 $$MAP=lo{g}^{p(y|X)}=lo{g}^{P(y|X,w)P(w)}=lo{g}^{P(y|X,w)}+lo{g}^{P(w)}$$
 可以看出后验概率函数为在似然函数的基础上增加了$lo{g}^{P(w)}$,P(w)的意义是对权重系数w的概率分布的先验假设，在收集到训练样本X，y后，则可根据w在X,y下的后验概率对w进行修正，从而做出对w的更好地估计。若假设w的先验概率分布为0均值的高斯分布，即$w\sim N(0,{\delta }^2)$
 
则有
 $$\begin{gathered} lo{g}^{P(w)}=lo{g}^{{\prod }_{j}P(w_j)}= \\ lo{g}^{{\prod }_j[\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{w_j^2}{2{\delta }^2}}]} \\ =\sum _j(lo{g}^{[\frac{1}{\sqrt{2\pi }\delta }{e}^{-\frac{w_j^2}{2{\delta }^2}}]}) \\ =\sum _j(lo{g}^{[e^{-\frac{w_j^2}{2{\delta }^2}}]})+jlo{g}^{\frac{1}{\sqrt{2\pi }\delta }}后部分对于w相当于一个常数 \\ =\sum _j(-\frac{w_j^2}{2{\delta }^2})+C \\ =-\frac{1}{2{\delta }^2}\sum _j{w}_j^2+C \end{gathered}$$
 可以看出，在高斯分布下$lo{g}^{P(w)}$的效果等价于在代价函数中增加L2正则项。
 
若假设w服从均值为0，参数为a的拉普拉斯分布，即
 $$P(w_j)=\frac{1}{2a}{e}^{-\frac{|w_j|}{a}}$$
 则有
 $$\begin{gathered} lo{g}^{P(w)}= \\ lo{g}^{{\prod }_{j}P(w_J)}= \\ lo{g}^{{\prod }_j\frac{1}{2a}{e}^{-\frac{|w_j|}{a}}}= \\ \sum _j(lo{g}^{\frac{1}{2a}{e}^{-\frac{|w_j|}{a}}})= \\ \sum _j(lo{g}^{e^{-\frac{|w_j|}{a}}})+jlo{g}^{\frac{1}{2a}}后者对于w相当于常数= \\ -\frac{1}{a}\sum _j|w_j|+C \end{gathered}$$
 可以看到，在拉普拉斯分布下$lo{g}^{P(w)}$的效果等价在代价函数中增加L1正则。
 
L1正则化可通过假设权重w的先验分布为拉普拉斯分布，由最大后验概率估计导出。
 
L2正则化可通过假设权重w的先验分布为高斯分布，由最大后验概率估计导出。
 
参考1
 
参考2

  


 
文章目录
 
前言
一、L1和L2正则化是什么？
二、区别
三、其他问题

 
 
前言
 
在防止过拟合的方法中有L1正则化和L2正则化，那么这两者有什么区别呢？
 
 
 
一、L1和L2正则化是什么？
 
L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。
 
二、区别
 
L1是模型各个参数的绝对值之和。
 L2是模型各个参数的平方和的开方值。
L1会趋向于产生少量的特征，而其他的特征都是0。
 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵
 L2会选择更多的特征，这些特征都会接近于0。
 最优的参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0。当最小化||w||时，就会使每一项趋近于0。
 
三、其他问题
 
为什么参数越小代表模型越简单？
 
越是复杂的模型，越是尝试对所有样本进行拟合，包括异常点。这就会造成在较小的区间中产生较大的波动，这个较大的波动也会反映在这个区间的导数比较大。只有越大的参数才可能产生较大的导数。因此参数越小，模型就越简单。
 
实现参数的稀疏有什么好处？
 
因为参数的稀疏，在一定程度上实现了特征的选择。一般而言，大部分特征对模型是没有贡献的。这些没有用的特征虽然可以减少训练集上的误差，但是对测试集的样本，反而会产生干扰。稀疏参数的引入，可以将那些无用的特征的权重置为0。
 
L1范数和L2范数为什么可以避免过拟合？
 
加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2范数函数第一次相交时，得到最优解。
 
L1范数：
 
L1范数符合拉普拉斯分布，是不完全可微的。表现在图像上会有很多角出现。这些角和目标函数的接触机会远大于其他部分。就会造成最优值出现在坐标轴上，因此就会导致某一维的权重为0 ，产生稀疏权重矩阵，进而防止过拟合。
 
L2范数：
 
L2范数符合高斯分布，是完全可微的。和L1相比，图像上的棱角被圆滑了很多。一般最优值不会在坐标轴上出现。在最小化正则项时，可以是参数不断趋向于0.最后很小的参数。
 假设要求的参数为θ，hθ(x)hθ(x)是我们的假设函数，那么线性回归的代价函数如下：
 
 那么在梯度下降法中，最终用于迭代计算参数θj的迭代式为：
 
 如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子：
 
 每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。