精华内容
下载资源
问答
  • (手机的颜色,大小,用户体验来加权统计总体的值)极大似然估计MLE 1.Logistic回归 Logistic regression (逻辑回归),是一种分类方法,用于二分类问题(即输出只有两种)。如用于广告预测,也就是根据某广告被...

    (手机的颜色,大小,用户体验来加权统计总体的值)极大似然估计MLE

    1.Logistic回归

    Logistic regression (逻辑回归),是一种分类方法,用于二分类问题(即输出只有两种)。如用于广告预测,也就是根据某广告被用户点击的可能性,把最可能被用户点击的广告摆在用户能看到的地方,结果是用户要么点击要么不点击。

    通常两类使用类别标号0和1表示,0表示不发生,1表示发生。

    问题引入

    例如:有100个手机,其中有30个是你喜欢的,70个是不喜欢的。现预测你对第101个手机的喜好。这是一个两类问题,喜欢与不喜欢。

    显然这是一个二分类问题,我们对第101个手机进行预测分类,分为喜欢和不喜欢两个类别。

    我们需要对手机取特征(属性),比如价格,外观,用户体验。简单处理,只考虑3个方面(即3个特征)。综合考虑这些因素,并且把这些值进行数字化的表示。数字越大说明越喜欢,越小越不喜欢。

    怎么数字化表示这些量呢?

    对每部手机对应价格,外观,用户体验都可以给出一个具体的数值。

    image

    image

    我们回忆一下贝叶斯分类:

    image

     

    2. Sigmoid 函数

    image  image

    image

    image

    image

    3.Sigmoid函数性质

    image

    image

    image

    image

    分类性质

    回顾我们的后验概率如何分类的,每个可以观测的样本都有属于某类的概率。分类时候选取后验概率大的值进行分类。这里是两分类问题每个样本均可带入P(y=1|x)和P(y=0|x)谁的概率值大,我们就将样本归入某类。

    现在分类模型为下边公式,但含有未知量 ,只要求出 就可以对样本,就可以带入样本就行计算,对样本进行分类。

    如何求未知参数 ?我们有m个样本,思路是建立一个目标函数,求目标函数极值。极值处的 值,就是我们最优未知参数值。

    image

    参数估计

    假设分类的概率

    image

    上面的概率可以写到一起 (类似二项分布)

    image

    m个样本的似然函数为

    image

    对数似然函数

    image

    使得似然函数值最大?梯度下降(上升)法。

    image

    似然函数求导

    image

    常规方法时效。故用梯度下降法

    Logistic回归中是未知参数 ,目标是求出 。通过构建似然函数,目标使似然函数最大。

    回顾我们梯度下降法。

    image  (J是上边的L函数,手误)问题解决

    4.梯度上升法

    目标使似然函数最大,我们可以使用梯度上升法进行迭代。

    image

    image

    image

    梯度下降法根据样本使用的不同,一次使用所有样本更新参数为批处理梯度下降法。一次只随机使用一个样本来更新参数随机梯度下降法。

    同样我们的Logistic回归可以使用批处理梯度上升法和随机梯度上升法。梯度上升法和梯度下降法都是寻找函数的极值,只是搜索方向的不同而已。根据具体函数的性质,进行选择,两者没有本质的不同。

    我们容易通过把函数转换成,把极大化问题转换成极小化问题。函数加负号即可。

    5.批处理梯度下降法

    image

    6.随机梯度下降法

    image

    7.代码实现

     

    准备数据,样例数据如下,前两列分别为x1和x2值,第3列为数据的类别,这样的数据有100条。

    image

    image

    批处理梯度下降(上升)算法计算最佳回归系数

    image

    image

    image

    image

    矩阵为什么要转置?

    image

    image

    image

    image

    image

    运行测试

    if __name__ == "__main__":

    dataMat,classLabels=loadDataSet()

    weights=gradAscent(dataMat, classLabels)

    plotBestFit(weights.getA())

    image

    8.随机梯度下降(上升)法SGD (stochastic gradient descent)

    image

    image

    运行测试

    if __name__ == "__main__":

    dataAttr, labelMat = loadDataSet()

    weights = stocGradAscent0(array(dataAttr), labelMat)

    plotBestFit(weights)

    image

    9.改进的随机梯度下降

    image

    image

    image

    image

    image

     

    运行测试

    if __name__ == "__main__":

    dataAttr, labelMat = loadDataSet()

    weights = stocGradAscent1(array(dataAttr), labelMat)

    plotBestFit(weights)

    image

    运行结果对比

    比较原始的随机梯度下降和改进后的梯度下降,可以看到两点不同:

    1)系数不再出现周期性波动。

    2)系数可以很快的稳定下来,也就是快速收敛。这里只迭代了20次就收敛了。而上面的随机梯度下降需要迭代200次才能稳定。

    image

    image

    (a)梯度下降算法迭代500次。

    (b)随机梯度下降算法迭代200次。

    (c)改进的随机梯度下降算法迭代20次。

    (d)改进的随机梯度下降算法迭代200次。

    10.示例:从疝气病症预测病马是否存活

    一、处理数据中的缺失值

    image

    二、用Logistic回归进行分类

    image

    image

    image

    image

    运行测试

    if __name__ == "__main__":

    multiTest()

    image

    11.总结

    image

    转载于:https://www.cnblogs.com/chaoren399/p/4850427.html

    展开全文
  • 一元线性回归原理及算法代码实现 一. 首先线性回归的目的是用来对新数据预测,或者是由样本数据来估计总体数据 ...总体回归函数随机设定式为: y=E(Y∣X)+u=β0+β1X+u y=E\left( Y|X \right) +u=\beta...

    一元线性回归原理及算法代码实现

    一. 首先线性回归的目的是用来对新数据预测,或者是由样本数据来估计总体数据

    1.总体回归函数为:
    E(YX)=β0+β1X E\text{(}Y|X\text{)}=\beta _0+\beta _1X
    总体回归函数的随机设定式为:
    y=E(YX)+u=β0+β1X+u y=E\left( Y|X \right) +u=\beta _0+\beta _1X+u
    其中X,Y为真实数据,y为总体的预测值,u为总体误差,属于采样时不可避免的误差.
    2.样本回归函数为:
    y^i=β^0+β^1xi \hat{y}_i=\hat{\beta}_0+\hat{\beta}_1x_i
    样本回归函数随机设定式:
    yi=β^0+β^1xi+εi y_i=\hat{\beta}_0+\hat{\beta}_1x_i+\varepsilon _i
    其中yi为样本的实际实现值,yi帽子为样本数据的预测值,B0帽子,B1帽子是总体回归系数的估计.
    总的来说就是依据样本回归函数的回归系数,去估计总体回归函数.

    二.依据最小二乘法的思想去确定样本回归函数的回归系数:

    εi=yiy^i=yiβ^ixiβ^0 \varepsilon _i=y_i-\hat{y}_i=y_i-\hat{\beta}_ix_i-\hat{\beta}_0
    利用残差最小思想来最终确定样本回归系数,这就是最小二估计法
    假设在总体中取m 个样本则残差平方和,或者损失函数为:
    imεi2=F(β^0,β^1)=im(yiβ^1xiβ^0) \sum_i^m{\varepsilon ^2_i}=F\left( \hat{\beta}_0,\hat{\beta}_1 \right) =\sum_i^m{\left( y_i-\hat{\beta}_1x_i-\hat{\beta}_0 \right)}
    求损失函数的最小值,需要对损失函数求偏导
    Fβ^0=2(β^0+β^1xiyi) \dfrac{\partial F}{\partial \hat{\beta}_0}=2\sum{\left( \hat{\beta}_0+\hat{\beta}_1x_i-y_i \right)}①
    Fβ^1=2(β^0+β^1xiyi)xi \dfrac{\partial F}{\partial \hat{\beta}_1}=2\sum{\left( \hat{\beta}_0+\hat{\beta}_1x_i-y_i \right)}x_i②
    损失函数有极值,则偏导数等于0,即①,②式等于0
    ①式可以写成:
    mβ^0+β^1Σxi=Σyi m\hat{\beta}_0+\hat{\beta}_1\varSigma x_i=\varSigma y_i③
    ②式可以写成:
    β^0Σxi+β^1Σxi2=Σxiyi \hat{\beta}_0\varSigma x_i+\hat{\beta}_1\varSigma x_i^2=\varSigma x_iy_i ④
    结合③式,④式可以解得
    β^1=Σ(xixˉ)(yiyˉ)Σ(xixˉ)2 \hat{\beta}_1=\frac{\varSigma \left( x_i-\bar{x} \right) \left( y_i-\bar{y} \right)}{\varSigma \left( x_i-\bar{x} \right) ^2}
    β^0=yˉβ^1xˉ \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x}

    #1.导包
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    from sklearn import linear_model
    from scipy import linalg
    from sklearn.datasets import make_regression
    
    2.#自定义函数实现一元线性回归函数
    def simple_regression(X,Y):
        k=(((X-X.mean())*(Y-Y.mean())).sum())/np.dot(X-X.mean(),X-X.mean())#实现B1帽子
        b=Y.mean()-k*X.mean()#实现B0
        Y_theory=k*X+b
        return k,b,Y_theory#返回预测值及回归系数
    
    #3.产生回归数据集,5000个样本,1个特征,1个目标集,随机种子固定,产生数据集不变化
    data_1=make_regression(5000,1,1,1,0.1,1,noise=0.2,random_state=145)
    X_own=data_1[0].reshape(1,5000)[0]#取出样本特征,将其转换为一维数组
    Y_own=data_1[1]#取出目标集
    coef=simple_regression(X_own,Y_own)[0:2]#调用自定函数,返回回归系数
    Ytheroy=simple_regression(X_own,Y_own)[2]#调用自定函数,返回预测值
    coef
    

    (70.99511136580634, 0.09312454133275666)

    #4.使用sklearn中的线性模型,建模,做对比用
    lin=linear_model.LinearRegression()
    lin.fit(data_1[0],data_1[1])
    lin.coef_,lin.intercept_ #回归系数
    

    (array([70.99511137]), 0.09312454133275669)
    对比自定义算法实现的回归系数与sklearn中模型返回的回归系数,发现相差不多

    #5.绘图
    dgs,axes1=plt.subplots(1,2,dpi=140,figsize=(14,6))
    axes1[0].scatter(X_own,Y_own,c='m',marker='*')#原数据点分布
    axes1[0].plot(X_own,Ytheroy,'-c')#模型拟合线
    axes1[1].plot(X_own,(Y_own-Ytheroy),'Dk')#观察残差图
    

    由残差图可以看出,残差服从标准正态分布(即数据中心在(0,0)处,表明均值为0,数据程圆形分布说明,数据符合正态分布)

    展开全文
  • 多元线性回归

    千次阅读 2013-11-25 12:29:06
    1、多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元线性函数,...称为多元总体线性回归方程,简称总体回归方程。 对于组观测值,其方程组形式为: (1.3) 即 其矩阵形式为 =+ 即

    1、多元线性回归模型

    假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元线性函数,称为多元线性回归模型。即

    (1.1)

    其中为被解释变量,个解释变量,个未知参数,为随机误差项。

    被解释变量的期望值与解释变量的线性方程为:

    (1.2)

    称为多元总体线性回归方程,简称总体回归方程。

    对于组观测值,其方程组形式为:

    (1.3)

    其矩阵形式为

    =+

    (1.4)

    其中

    为被解释变量的观测值向量;为解释变量的观测值矩阵;为总体回归参数向量;为随机误差项向量。

    总体回归方程表示为:

    (1.5)

    多元线性回归模型包含多个解释变量,多个解释变量同时对被解释变量发生作用,若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数,即反映了当模型中的其它变量不变时,其中一个解释变量对因变量的均值的影响。

    由于参数都是未知的,可以利用样本观测值对它们进行估计。若计算得到的参数估计值为,用参数估计值替代总体回归函数的未知参数,则得多元线性样本回归方程:

    (1.6)

    其中为参数估计值,的样本回归值或样本拟合值、样本估计值。

    其矩阵表达形式为:

    (1.7)

    其中为被解释变量样本观测值向量阶拟合值列向量;为解释变量阶样本观测矩阵;为未知参数向量阶估计值列向量。

    样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差

    (1.8)

    2、多元线性回归模型的假定

    与一元线性回归模型相同,多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时,有如下假定:

    假定1零均值假定:,即

    (2.1)

    假定2 同方差假定(的方差为同一常数):

    (2.2)

    假定3 无自相关性:

    (2.3)

    假定4 随机误差项与解释变量不相关(这个假定自动成立):

    (2.4)

    假定5 随机误差项服从均值为零,方差为的正态分布:

    (2.5)

    假定6 解释变量之间不存在多重共线性:

    即各解释变量的样本观测值之间线性无关,解释变量的样本观测值矩阵的秩为参数个数k+1,从而保证参数的估计值唯一。

    3、多元线性回归模型的参数估计

    3.1回归参数的最小二乘估计

    对于含有个解释变量的多元线性回归模型

    分别作为参数的估计量,得样本回归方程为:

    观测值与回归值的残差为:

    由最小二乘法可知应使全部观测值与回归值的残差的平方和最小,即使

    (3.1)

    取得最小值。根据多元函数的极值原理,分别对求一阶偏导,并令其等于零,即

    (3.2)

    化简得下列方程组

    (3.3)

    上述个方程称为正规方程,其矩阵形式为

    (3.4)

    因为

    为估计值向量

    样本回归模型两边同乘样本观测值矩阵的转置矩阵,则有

    得正规方程组:

    (3.5)

    由假定(6),阶方阵,所以满秩,的逆矩阵存在。因而

    (3.6)

    则为向量的OLS估计量。

    以二元线性回归模型为例,导出二元线性回归模型的OLS估计量的表达式。由(1.3)式得二元线性回归模型为

    为了计算的方便,先将模型中心化。

    ,则二元回归模型改写为中心化模型。

    (3.7)

    (3.8)

    代入得

    (3.9)

    因为

    (3.10)

    由(3.6)式得

    (3.11)

    其中

    由(3.11)式可知

    (3.12)

    (3.13)

    (3.14)

    3.2随机误差项的方差的估计量

    样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差

    ,可以得出阶对称幂等矩阵,。于是

    而残差的平方和为

    其中""表示矩阵的迹,即矩阵主对角线元素的和。于是

    随机误差项的方差的无偏估计量,记作,即为残差的标准差(或回归标准差)。

    因此

    (3.15)

    其中

    (3.16)

    例如,对于二元线性回归模型()

    (3.17)

    (3.18)

    3.3、估计参数的统计性质

    1、线性性

    指最小二乘估计量是被解释变量的观测值的线性函数。

    由于

    ,则矩阵为一非随机的阶常数矩阵。所以

    (3.19)

    显然最小二乘估计量是被解释变量的观测值的线性函数。

    2、无偏性

    代入(3-16)式得

    (3.20)

    所以的无偏估计量。

    3.最小方差性

    阶数值矩阵,阶随机矩阵(随机变量为元素的矩阵),阶数值矩阵,则

    下面推导的方差、协方差矩阵。

    定义:

    由(3.20)式得

    所以

    (3.21)

    这个矩阵主对角线上的元素表示的方差,非主对角线上的元素表示的协方差。例如是位于的第行与第列交叉处的元素(主对角线上的元素);是位于的第行与第列交叉处的元素(非主对角线上的元素)

    在应用上,我们关心的的方差,而忽略协方差,因此把(3.21)式记作

    (3.22)

    ,则,所以的最小方差线性无偏估计。这说明,在(1.1)式系数的无偏估计量中,OLS估计量的方差比用其它估计方法所得的无偏估计量的方差都要小,这正是OLS的优越性所在。

    代替则得的标准估计量的估计值,乃称为标准差。

    (3.23)

    其中

    对于二元回归模型(),求估计量的方差,由(3.22)式得

    其中

    于是

    所以

    (3.24)

    (3.25)

    (3.26)

    (3.27)

    其中

     

    4. 显著性检验

    4.1 拟合优度检验

    4.1.1总离差平方和分解

    设具有个解释变量的回归模型为

    其回归方程为

    离差分解:

    总离差平方和分解式为:

    (4.1)

    (4.2)总离差平方和分解为回归平方和与残差平方和两部分。体现了观测值总波动大小,称为总偏差平方和,记作TSS.体现了n个估计值的波动大小,它是由于Y与自变量的变化而引起,被称作为回归平方和,记为ESS(Explained Sum of Squares)或U;称为残差平方和,记为RSS(Residual Sum of Squares)或Q.

    4.1.2样本决定系数

    对于多元回归方程,其样本决定系数为复决定系数或多重决定系数。

    ,简记为

    (4.3)

    根据式(4.2)

    (4.4)

    因为

    由(3.16)式知

    所以

    (4.5)

    作为检验回归方程与样本值拟合优度的指标:越大,表示回归方程与样本拟合的越好;反之,回归方程与样本值拟合较差。

    具体的,当时,求样本决定系数

    由(3.8)式,得,因此有

    (4.6)

    4.1.3调整后的样本决定系数

    在使用时,容易发现的大小与模型中的解释变量的数目有关。如果模型中增加一个新解释变量,总离差不会改变,但总离差中由解释变量解释的部分,即回归平方和将会增加,这就是说与模型中解释变量个数有关。但通过增加模型中解释变量的数目而使增大是错误的,显然这样来检验被回归方程与样本值拟合优度是不合适的,需要对进行调整,使它不但能说明已被解释离差与总离差的关系,而且又能说明自由度的数目。

    表示调整样本决定系数,

    (4.7)

    其中

    这里是残差平方和的自由度,是总离差平方和的自由度。

    由(4.7)式得

    其中,是样本观测值的个数,是解释变量的个数。从式中可以看出,当增加一个解释变量时,由前面分析可知会增加,引起减少,而增加,因而不会增加。这样用判定回归方程拟合优度,就消除了对解释变量个数的依赖。

    只能说明在给定的样本条件下回归方程与样本观测值拟合优度,并不能做出对总体模型的推测,因此不能单凭来选择模型,必须对回归方程和模型中各参数的估计量做显著性检验。

    4.2方程显著性检验

    由离差平方和分解(4.2)式可知,总离差平方和的自由度为,回归平方和是由个解释变量的线性影响决定的。因此它的自由度为。所以,残差平方和的自由度由总离差平方和的自由度减去回归平方和的自由度,即为

    检验回归方程是否显著,

    第一步,作出假设

    备择假设H1b1b2、…、bk不同时为0

    第二步,在成立的条件下,计算统计量

    第三步,查表临界值

    对于假设,根据样本观测值计算统计量给定显著水平,查第一个自由度为,第二个自由度为分布表得临界值。当时,拒绝,则认为回归方程显著成立;当时,接受,则认为回归方程无显著意义。

    4.3参数显著性检验

    回归方程显著成立,并不意味着每个解释变量对被解释变量的影响都是重要的。如果某个解释变量对被解释变量的影响不重要,即可从回归模型中把它剔除掉,重新建立回归方程,以利于对经济问题的分析和对进行更准确的预测。为此需要对每个变量进行考查,如果某个解释变量对被解释变量的作用不显著,那么它在多元线性回归模型中,其前面的系数可取值为零。因此必须对是否为零进行显著性检验。

    由(3.23)式

    (4.8)

    其中

    的第i个对角元素,而是中心化的数据阵。

    对回归系数进行显著性检验,步骤如下:

    (1)提出原假设;备择假设

    (2)构造统计量,当成立时,统计量。这里的标准差,为解释变量个数,计算由式(4.8)给出。

    (3)给定显著性水平,查自由度为分布表,得临界值

    (4)若,则拒绝,接受,即认为显著不为零。若,则接受,即认为显著为零。

    5.回归变量的选择与逐步回归

    5.1变量选择问题

    在实际问题中,影响因变量Y的因素(自变量)很多,人们希望从中挑选出影响显著的自变量来建立回归关系式,这就涉及到自变量选择的问题。

    在回归方程中若漏掉对Y影响显著的自变量,那么建立的回归式用于预测时将会产生较大的偏差。但回归式若包含的变量太多,且其中有些对Y影响不大,显然这样的回归式不仅使用不方便,而且反而会影响预测的精度。因而选择合适的变量用于建立一个"最优"的回归方程是十分重要的问题。

    选择"最优"子集的变量筛选法包括逐步回归法(Stepwise),向前引入法(Forward)和向后剔除法(Backwad)。

    向前引入法是从回归方程仅包括常数项开始,把自变量逐个引入回归方程。具体地说,先在m个自变量中选择一个与因变量线性关系最密切的变量,记为,然后在剩余的m-1个自变量中,再选一个,使得联合起来二元回归效果最好,第三步在剩下的m-2个自变量中选择一个变量,使得联合起来回归效果最好,...如此下去,直至得到"最优"回归方程为止。

    向前引入法中的终止条件为,给定显著性水平,当某一个对将被引入变量的回归系数作显著性检查时,若p-value,则引入变量的过程结束,所得方程即为"最优"回归方程。

    向前引入法有一个明显的缺点,就是由于各自变量可能存在着相互关系,因此后续变量的选入可能会使前面已选入的自变量变得不重要。这样最后得到的"最优"回归方程可包含一些对Y影响不大的自变量。

    向后剔除法与向前引入法正好相反,首先将全部m个自变量引入回归方程,然后逐个剔除对因变量Y作用不显著的自变量。具体地说,从回归式m个自变量中选择一个对Y贡献最小的自变量,比如,将它从回归方程中剔除;然后重新计算Y与剩下的m-1个自变量回归方程,再剔除一个贡献最小的自变量,比如,依次下去,直到得到"最优"回归方程为止。向后剔除法中终止条件与向前引入法类似。

    向后剔除法的缺点在于,前面剔除的变量有可能因以后变量的剔除,变为相对重要的变量,这样最后得到的"最优"回归方程中有可能漏掉相对重要的变量。

    逐步回归法是上述两个方法的综合。向前引入中被选入的变量,将一直保留在方程中。向后剔除法中被剔除的变量,将一直排除在外。这两种方程在某些情况下会得到不合理的结果。于是,可以考虑到,被选入的的变量,当它的作用在新变量引入后变得微不足道时,可以将它删除;被剔除的变量,当它的作用在新变量引入情况下变得重要时,也可将它重新选入回归方程。这样一种以向前引入法为主,变量可进可出的筛选变量方法,称为逐步回归法。

    5.2逐步回归分析

    5.2.1基本思想

    逐个引入自变量。每次引入对Y影响最显著的自变量,并对方程中的老变量逐个进行检验,把变为不显著的变量逐个从方程中剔除掉,最终得到的方程中既不漏掉对Y影响显著的变量,又不包含对Y影响不显著的变量。

    5.2.2筛选的步骤

    首先给出引入变量的显著性水平和剔除变量的显著性水平,然后按下图筛选变量。

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    5.2.3逐步筛选法的基本步骤

    逐步筛选变量的过程主要包括两个基本步骤:一是从回归方程中考虑剔除不显著变量的步骤;二是从不在方程中的变量考虑引入新变量的步骤。

    (1)考虑可否引入新变量的基本步骤。假设已入选r个变量,不在方程中的变量记为

    1. 计算不在方程中的变量的偏回归平方和

    ,Q表示括号中这些变量的回归模型的残差平方和。并设

    ,即不在方程中的变量是对Y影响最大的变量。

    1. 检验变量对Y的影响是否显著。对变量作回归系数的显著性检验,即检验,检验统计量为

    ,其中F~F(1,n-r-1).

    若p<,则引入,并转入考虑可否剔除变量的步骤。若,则逐步筛选变量的过程结束。

    (2)考虑可否剔除变量的基本步骤。假设已引入回归方程的变量为.

    1. 计算已在方程中的变量的偏回归平方和  其中Q表示括号中这些变量的回归模型的残差平方和,U表示其回归平方和。设

    ,即相应的变量是方程中对Y影响最小的变量。

    1. 检验对Y的影响是否显著。对变量进行回归系数的显著性检验,即检验,检验统计量为

    ,其中F~F(1,n-r-1)。

    若p大于等于,则剔除,重新建立Y与其余r-1个变量的回归方程,然后再检验方程中最不重要的变量可否删除,直到方程中没有变量可删除后,转入考虑能否引入新变量的步骤。

    5.3流程图

    (1)后向选择

    (2) 前向引入(Forward)

    (3)逐步回归(Stepwise)

    展开全文
  • 3.1多元线性回归模型 一、多元线性回归模型 ●多元线性回归模型的一般形式为: Y=β0+β1*X1+β2*X1+⋯+βk*X1+μ 其中k为解释变量的数目, βj (j=0,1,⋯,k)称为回归系数。...●总体随机函数的非随机表达形式...

    导航

    上一章:一元线性回归模型
    下一章:放宽基本假定的模型



    3.1多元线性回归模型

    一、多元线性回归模型

    ●多元线性回归模型的一般形式为:

    Y=β01*X12*X1+⋯+βk*X1

    其中k为解释变量的数目, βj (j=0,1,⋯,k)称为回归系数。上式也被称为总体随机函数的随机表达形式。人们习惯上把常数项看作一个虚变量的参数,在参数估计过程中该虚变量的样本观测值始终取1。这样,模型中解释变量的数目为k+1.
    ●总体随机函数的非随机表达形式:

    E(Y|X1,X2,⋯,Xk)=β01*X12*X1+⋯+βk*X1

    可见,多元回归分析是以多个解释变量的给定值为条件的回归分析.上式表示,各解释变量X值给定时Y的平均响应。β_j也被称为偏回归系数,表示在其他解释变量保持不变的情况下,Xj每变化一个单位时,Y的均值E(Y)的变化。

    二、多元线性回归的基本假设

    ●为了使参数估计量具有良好的统计性质,对多元线性回归模型可做出类似于一元线性回归分析那样的若干基本假设:
    ①回归模型是正确设定的。
    ②解释变量X1,X2⋯,Xk是非随机的或固定的,且各Xj之间不存在严格的线性相关性(无完全多重共线性)。
    ③各解释变量Xj在所抽取的样本中具有变异性,而且随着样本容量的无限增加,各个解释变量的样本方差趋近于一个非零的有限常数。
    ④随机误差项具有条件零均值、同方差及不序列相关。
    ⑤解释变量与随机项不相关
    ⑥随机项满足正态分布。

    3.2多元线性回归模型的参数估计

    ●多元线性回归在满足3.1节所列出的基本假设的情况下,可采用如下方法进行参数估计:
    ①普通最小二乘法
    ②最大似然法
    ③矩估计法

    四、参数统计量的统计性质

    ●当多元回归模型满足基本假设时,其参数的最小二乘估计、最大似然估计及距估计仍然具有线性性、无偏性和有效性。同时,随着样本容量增加,即当n→+∞时,参数估计量具有渐进无偏、一致性及渐进有效性。

    五、样本容量问题

    ●所谓“最小样本容量”,即从最小二乘原理和最大似然原理出发,欲得到参数估计量,不管参数估计量的质量如何,所要求的样本容量的下限。即样本容量必须不少于模型中解释变量的数目(包含常数项),这就是最小样本容量。
    ●虽然满足最小样本容量,可以得到参数估计量。但当样本容量n太小时,除了参数估计量不好以外,一些建立模型所需的后续工作也无法进行。所以一般经验认为,当n>=30或者至少n>=3(k + 1)时,才能说满足模型估计的一般要求。
    ●如果出现样本容量较小,甚至少于“最小样本容量”的情况,那么只依靠样本信息是无法完成模型估计的。这时需要引入非样本信息,如先验信息和后验信息,并采用其他估计方法,如贝叶斯估计方法,才能完成模型的参数估计。

    3.3多元线性回归模型的统计检验

    一、拟合优度检验

    ●可决系数与调整的可决系数
    可决系数:

    可决系数
    ESS为回归平方和, RSS为残差平方和,TSS为总离差平方和.

    调整后的可决系数:
    调整后的可决系数
    调整的可决系数与可决系数之间的关系:
    调整的可决系数与可决系数之间的关系
    ●赤池信息准则(AIC)和施瓦茨准则(SC)
    为了比较所含解释变量个数不同的多元回归模型的拟合优度,常用AIC准则和SC准则,其定义分别为:
    赤池信息准则(AIC)和施瓦茨准则(SC)

    二、方程总体线性的显著性检验(F检验)

    ●方程总体线性的显著性检验,旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立,作出推断。
    ●方程显著性的F检验
    F检验思想来源于总离差平方和的分解式:

    TSS=ESS+RSS
    F检验的统计量: ![](https://img-blog.csdnimg.cn/20200308224518904.png#pic_center)

    服从自由度为(k,n-k-1)的F分布。
    因此,给定显著性水平α,当:F>Fα (k,n-k-1)时,拒绝原假设,则原方程线性关系显著;反之,当:F<Fα (k,n-k-1)时,不能拒绝原假设,则原方程线性关系不显著.
    ●关于拟合优度检验和方程总体线性的显著性检验之间的关系:

    由上式可知F与R2同向变化。当R2=0时,F = 1,当R2=1时,F为无穷大。因此,F检验是所估计回归方程的总显著性的一个度量,也是R2的一个显著性检验,亦即,检验原假设H01=0,β2=0,⋯βk=0,等价于检验R2=0这一虚拟假设.
    我们在应用中,不必对R2过分苛求,重要的是考察模型的经济关系是否合理。

    三、变量的显著性检验(t检验)

    ●在一元线性回归中,t检验和F检验是一致的。

    F=t2

    ●没有绝对的显著性水平。关键是考察变量在经济关系上是否对解释变量有影响,显著性检验起到验证作用;同时,还要看显著性水平不太高的变量在模型中的作用,不要简单地剔除变量。

    四、参数的置信区间

    ●在1-α的置信度下βj的置信区间是:

    3.4多元线性回归模型的预测

    ●若给定样本以外的解释变量的观测值X0,可以得到被解释变量的预测值:

    严格的说这只是被解释变量预测值的估计值,而不是预测值。为了进行科学的预测,还需求出预测值的置信区间,包括均值E(Y0)和点预测值Y0的置信区间。
    ●给定1-α的置信水平下E(Y0)置信区间:

    ●给定1-α的置信水平下Y0的置信区间:

    3.5可化为线性的多元非线性回归模型

    ●在实际生活中,经济变量的关系是复杂的,直接表现为线性关系的情况并不多。但是这些非线性模型又可以通过一些简单地数学处理,使之化为数学上的线性关系,从而可以运用线性回归的方法建立线性计量经济学模型。

    一、模型的类型与变换

    ●模型的类型与变换
    1.倒数模型、多项式模型与变量的直接置换法
    2.幂函数模型、指数函数模型与函数变换法
    3.复杂函数模型与级数展开法

    三、非线性普通最小二乘法

    ●普通最小二乘原理
    高斯-牛顿迭代法
    ●牛顿-拉弗森迭代法
    无论是高斯-牛顿迭代法还是牛顿-拉弗森迭代法,都存在一个问题,即如何保证迭代所逼近的是总体极小值(即最小值)而不是局部极小值?这就需要选择不同的初值,进行多次迭代求解。

    3.6受约束回归

    一、模型参数的线性约束

    ●在同一数据样本下,记无约束样本回归模型的矩阵式为:

    记受约束样本回归模型的矩阵式为:

    可以证明:

    受约束样本回归模型的残差平方和不小于无约束样本回归模型的残差平方和,且两者总离差平方和相等,于是,受约束样本回归模型的回归平方和ESSR不大于无约束样本回归模型的回归平方和ESSU。这意味着,通常情况下,对模型施加约束条件会降低模型的解释能力。
    但是,如果约束条件为真,则受约束回归模型与无约束回归模型具有相同的解释能力,从而使得RSSR和RSSU的差异变小。于是,可用RSSR-RSSU的大小来检验约束条件的真实性。

    ●我们可以通过如下F统计量对约束条件的真实性进行检验:

    根据该统计量,如果约束条件为真,则F统计量较小,不能拒绝原假设;如果约束条件为假,则F统计量较大,拒绝原假设。

    二、对回归模型增加或减少解释变量

    ●建立回归模型时,一个重要的问题是如何判断增加重要的解释变量或去除不必要的解释变量。t检验可以对单个变量的取舍进行判断,而线性约束模型的F检验,则能对多个变量的取舍同时进行判断。

    ●考虑如下两个回归模型:

    (1)可以看成是(2)施加了如下约束条件的受约束回归:

    相应的F统计量为:

    另一个等价的式子:

    R2U和R2R分别为无约束和受约束回归方程的可决系数。

    三、参数的稳定性

    ●邹氏参数稳定性检验
    ●邹氏预测检验

    展开全文
  • 逻辑回归和线性回归同属于广义线性回归,逻辑回归更倾向于实现二分类的分类器/判别函数。...对应数理统计知识,样本是随机变量,那么总体的分布就是二项分布。我们希望最终能够把判别函数的结果映射到一个值域在[0,1]
  • 多元线性回归 能用office07发布简直是太好了,这下子省了很多事。 1、多元线性回归模型 ...假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元...称为多元总体线性回归方程,简称总体回归方程。 对
  • 11回归分析的基本思想及其初步应用 第1课时 产生随机误差的原因是什么 * 必修3(第二章 统计)知识结构 收集数据 (随机抽样) 整理分析数据估计推断 简单随机抽样 分层抽样 系统抽样 用样本估计总体 变量间的相关关系 ...
  • 我在Logistic ...当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。 2.在线性回归中的损失函数 θ表示要求的参数,h(x...
  • 三种梯度下降法1、梯度下降法以线性回归为例:梯度下降: ...2、随机梯度下降(Stochastic gradient descent)单个训练样本的代价函数总体的代价函数:SGD过程: step1:将数据随机打乱step2:随机梯度下
  • 一元线性回归的点估计和区间估计

    千次阅读 2019-10-08 13:51:51
    最小二乘法的判断标准是:样本回归线上的点和真实观测点的“总体误差”即二者之差的平方和最小,即 最小 由于是的二次函数,并且非负,所以极小值一定存在。根据极小值存在的条件,当对的一阶偏导数为0时,达到...
  • 附加功能可以估算所谓的空间影响(直接,间接和总体影响),还可以根据用户确定的特征获得具有SUR性质的随机数据集。 spsur的一个重要方面是,它既可以在纯横截面设置中运行,也可以在面板数据集中运行。 安装 您...
  • 深度学习总体介绍

    2019-10-17 16:32:05
    选择分类器–SVM、决策树、随机森林、贝叶斯网络、线性回归、聚类 深度机器学习 数据准备–数据、label 设计模型–CNN、RNN 训练–调结构、损失函数、训练参数 基本概念 y=W∗X+by = W*X+by=W∗X+b 神经元:...
  • 3、总体回归函数(PRF)是将总体被解释变量Y的条件均值表现为解释变量X的某种函数。 样本回归函数(SRF)是将被解释变量Y的样本条件均值表示为解释变量X的某种函数。 总体回归函数与样本回归函数的区别与联系。 4、...
  • R语言学习笔记(二)——回归分析

    千次阅读 2018-10-28 15:43:57
    什么是回归回归是指研究某一个变量...(1)确定性关系或函数关系:研究的是确定现象非随机变量间的关系。 是一一对应的确定关系 设有两个变量x和y,变量y随变量 x一起变化,并完全依赖于x,当变量x取某个数...
  • 选择分类器:SVM、决策树随机森林、贝叶斯网络、线性回归、聚类、EM 深度学习: 数据准备:数据、label 设计模型:CNN\RNN\CNN+RNN 训练:调整结构、损失函数、训练参数 深度学习推动因素: 理论:CNN、RNN、ReLU ...
  • 线性回归–最小二乘法(Least Square Method) 线性回归: 什么是线性回归?...线性回归表示这些离散的点总体上“最逼近”哪条直线。 实现方法: • 它通过最小化误差的平方和,寻找数据的最佳函数匹配。
  • 计量经济学 知识点汇总 期末复习用

    千次阅读 多人点赞 2020-08-31 22:43:39
    文章目录计量经济学chapter2 经典单方程计量经济学模型:一元线性回归模型2.1 回归分析概述2.1.1 回归分析的基本概念2.1.2 总体回归函数2.1.3 随机干扰项2.1.4 样本回归函数2.2 一元线性回归模型的基本假设2.2.1 对...
  • 梯度下降法的总体思想,是按照连续函数的一阶微分的集合方向(梯度方向)进行不断递减,取极限到该店的梯度为<0>为止。(这里要注意一点,梯度方向是该点处下降最快的方向)   &nbs...
  • 逻辑回归本身是可以用公式求解的,但是因为需要求逆的复杂度太高,所以才引入了梯度下降算法。 一阶方法:梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快,局部最优化...
  • 协方差&残差&异方差

    2020-08-11 10:31:57
    协方差: 衡量两个样本之间的相关性 残差: 观测值与预测值(拟合值)之间的差,即是实际观察值与回归估计值的差. ...经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性(服从
  • 异方差性以及加权最小二乘优化

    万次阅读 2017-03-01 09:00:14
    所谓同方差,是为了保证回归参数估计量具有良好的统计性质,经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性,即它们都有相同的方差。如果这一假定不满足,即:随机误差项具有不同的方差,...
  • 异方差

    千次阅读 2018-07-25 00:42:57
    下列关于异方差(Heteroskedasticity)说法...所谓同方差,是为了保证回归参数估计量具有良好的统计性质,经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性,即它们都有相同的方差。如果这...
  • 所谓同方差,是为了保证回归参数估计量具有良好的统计性质,经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性,即它们都有相同的方差。如果这一假定不满足,即:随机误差项具有不同的方差,...
  • 异方差性

    2018-06-15 19:09:51
    所谓同方差,是为了保证回归参数估计量具有良好的统计性质,经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性,即它们都有相同的方差。如果这一假定不满足,即:随机误差项具有不同的方差,...
  • 异方差产生与解决

    2017-03-12 11:28:00
    同方差:总体回归函数中的随机误差项满足同方差性,即它们都有相同的方差。如果这一假定不满足,即:随机误差项具有不同的方差,则称线性回归模型存在异方差性。 产生原因在于: a.模型中缺少某些解释变量,从而...

空空如也

空空如也

1 2 3
收藏数 47
精华内容 18
关键字:

随机总体回归函数