2019独角兽企业重金招聘Python工程师标准>>>   
                                        
                                                

 
总体回归函数（population regression function，简称 PRF）

 

 将总体被解释变量 Y 的
 条件均值表现为解释变量 X 的函数


  当总体回归函数是线性形式时


 

 


 
说明
 

  a、总体回归函数和总体回归线确实客观唯一存在，但一般未知
 


 b、总体回归函数的形式只能依据经济理论和时间经验去设定，为简单起见，常设定为线性形式


 c、总体回归函数中截距系数和斜率系数，未知，待解


 d、简单线性总体回归函数中，“线性”的含义


 

   
  

   什么是条件均值条件期望_百度百科
  
 
       


 
随机扰动项
 

   
  各个被解释变量的个别值与相应的条件均值的偏差，被称为随机扰动项，或随机干扰项(stochastic disturbance)，或随机误差项( stochastic error)，用 u 表示，它可正可负，是一个随机变量
 


 总体回归函数的个别值表现方式，或称随机设定形式


 

  
引入随机扰动项的原因 

  


 a、作为未知影响因素的代表


 b、作为无法取得数据的已知影响因素的代表


 c、作为众多细小影响因素的代表


 d、作为模型设定误差的代表


 c、作为变量观测误差的代表


 e、经济现象的内在随机性


 


 


 
样本回归函数（sample regression function，简称SRF）
 

 

   
  
总体回归函数与样本回归函数

  


 

 
区别
 

 a、总体回归函数未知，但唯一存在，样本回归函数可求，但有很多个，随抽样的变化而变化


 b、
  和 
  是确定的常数，未知； 
  和 
  是随机变量


 c、随机扰动项 ui 不能直接观测到；残差 ei可以求出


 

  



 

 

  

  

  

  

  

 
 

  

  

  

  

  

 

                                                        





                                        
                                            
转载于:https://my.oschina.net/u/1785519/blog/1511502

总体回归函数也成为理论回归函数，
模型为 E（y | x）= a + b x
其中参数ab存在但未知，是一个期望值，
样本回归函数也成为经验回归函数
模型为 y^ = a^ + b^ x
其中a^ 、b^为根据样本数据估计出来的值，y^也是通过估计所得的方程预测出来的值。
非实际模型，知识用来拟合实际模型。
 
总体回归线是未知的，只有一条。样本回归线是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。
总体回归函数中的β1和β2是未知的参数，表现为常数。而样本回归函数中的         是随机变量，其具体数值随所抽取的样本观测值不同而变动。
总体回归函数中的ut是Yt与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归函数中的et是Yt与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出et的具体数值。

1. 过拟合与欠拟合概念
之前，我们介绍过拟合的概念。拟合指的是构建的模型能够符合样本数据的特征。与拟合相关的两个概念是欠拟合与过拟合。

欠拟合：模型过于简单，未能充分捕获样本数据的特征。表现为模型在训练集上的效果不好。
过拟合：模型过于复杂，过分捕获样本数据的特征，从而将样本数据中一些特殊特征当成了共性特征。表现为模型在训练集上的效果非常好，但是在未知数据上的表现效果不好。

2. 概念进一步解释
欠拟合

数据集里很多能影响到的因素没有考虑到。

eg. 房屋面积和房价，y_hat = wx + b可以说是欠拟合，有很多因素能影响房价，除了面积。
过拟合

如果每一个细节都纳入，每一个特征都不放过，不是训练起来很完美吗？

eg. 建筑年代，材料，楼层，考虑到很多因素，很可能需要100元线性回归。就算在训练集的表现很不错，但是太过于考虑训练集特征，导致很可能在测试集上表现的不好，过拟合就是太过于复杂，对特征过分依赖。

表现就是：训练集表现好，测试集不是那么好。

eg. 判断人的性别是男还是女？

举过拟合的例子，只要是有胡子，就是男人。这就是贻笑大方了。


左图，欠拟合。

why 真实值和样本数据没有完全重合 ？

现实数据中，因为有噪声。
真实值是曲线，而用直线来进行预测，就是一种欠拟合。

看图，$R^{2}$只有0.474 效果并不是很好。

就像预测房屋价格，只考虑面积因素，就是欠拟合。



该图训练集和测试集都表示的不错。


上图穿过去，趋势大， 在训练集上表现好，都传过去了。

但是在未知数据上表现不好， 测试集上，$R^{2}$ 都是负的了，和真实值差别大。
eg. 图像的话，抓的太详细了，穿过每个点；判断男女性别的话好像有个汗毛就是男的了。**why ?**因为训练集只是样本的一部分。
3. 过拟合 & 欠拟合 解决方案
如果产生欠拟合，可以采用如下方式，来达到更好的拟合效果。

增加迭代次数
增加模型复杂度（例如，引入新的特征）
通过多项式扩展
使用更复杂的模型（例如非线性模型）

如果产生过拟合，可以采用如下方式，来降低过拟合的程度。

收集更多的数据
正则化
降低模型的复杂度
减少迭代次数
选择简单的模型

现在，我们来介绍下多项式扩展与正则化。
并不是每一种方法都是有效，要去做实验，分别解释。
4. 概念进一步解释
4.1 如果欠拟合，怎么解决？
eg. 走楼梯，100个台阶，50步，没达到极值点，误差还是比较大，欠拟合。




增加迭代次数，就能达到

多次进行循环就能达到，而欠拟合，就是过于简单。


增加模型复杂度

eg. 就像房价，用 y = wx + b


多项式扩展

扩展到多维度；维度增加，拟合能力变强。

一个线变成曲线，变成平面。

eg. 以前是直的，现在可以打弯。


更换模型

换个模型，找个其他的模型尝试。

eg. 线性模型处理不好的话，找个非线性的模型。

相比较增加复杂度，不换模型。


4.2 如果过拟合，怎么解决？


数据收集

数据集分成4个部分，左上角的数据特别多，其他少。将其他部分的数据多收集些，再放到数据集中。这样就能捕获更多特征。

但是，现实中收集数据可能很麻烦。




正则化


降低模型的复杂度

看这个线的复杂度，咱们将多项式的阶数下降。




减少迭代次数

迭代多了 过拟合

迭代少了 欠拟合


选择简单的模型

#### 符号理解


或者写成这样 

总体回归方程：


样本回归方程：



想要学好矩阵微积分请阅读[^2]：

向量微分：

若  ，有 



若 ，有  ，



若 有 , 



若  有



若有