原标题：R语言工具变量与两阶段最小二乘法
原文链接：http://tecdat.cn/?p=5374
我们要估计的模型是
y=a+bx+cd+ey=a+bx+cd+e，
其中是解释变量，，和是我们想要估计的系数。是控制变量，是治疗变量。我们特别关注我们的治疗效果对。
生成数据
首先，让我们生成数据。
假设 的工具变量和之间的相关矩阵如下：
0.001,1,0.7,0.3,\n rownames(R) 0.001,1,0.7,0.3, rownames(R)
## ## Call: ## lm(formula = y ~ x + d.hat) ## ## Residuals: ## Min 1Q Median 3Q Max ## -4.4531 -1.0333 0.0228 1.0657 4.0104 ## ## Coefficients: ## Estimate Std. Error t value Pr(>|t|) ## (Intercept) 9.99507 0.04786 208.85 <2e-16 *** ## x 1.01609 0.04612 22.03 <2e-16 *** ## d.hat 1.00963 0.06842 14.76 <2e-16 *** ## --- ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 ## ## Residual standard error: 1.513 on 997 degrees of freedom ## Multiple R-squared: 0.4158, Adjusted R-squared: 0.4146 ## F-statistic: 354.8 on 2 and 997 DF, p-value: < 2.2e-16
结果
b的真值：1 OLS estiamte of b：.00963 2SLS estiamte of b：1.31356
如果治疗变量是内生的，我们 使用2SLS。
有问题欢迎联系我们！返回搜狐，查看更多
责任编辑：

估计是逐个方程展开。以EViews附带的工作文件cs.wf为例。工作文件界面为： 其中CS(人均消费)、INV(投资)和GDP为内生变量。Gov_net为外生变量。 建立模型如下： cs=c(1)+c(2)*gdp+u1 inv=c(3)+c(4)*gdp+c(5)*gdp(-1)+u2 Gdp=cs+inv+gov_net 经模型的识别判断，第一个消费方程过度识别，第二个投资方程为恰好识别，模型可以识别，故可用TSLS来估计参数。 可以逐个方程回归。因第一个方程过度识别，所以要用全部前定变量为工具变量(常变量可不写)。出现界面为： 结果： Dependent Variable: CS Method: Two-Stage Least Squares Date: 12/18/05   Time: 13:27 Sample(adjusted): 1947:2 1994:4 Included observations: 191 after adjusting endpoints Instrument list: GOV_NET GDP(-1) Variable               Coefficient                 Std. Error      t-StatisticProb.   C                 -195.7920                   8.749597    -22.377260.0000 GDP                 0.706348                   0.002676    263.99370.0000 R-squared0.997296    Mean dependent   var        1953.966 Adjusted R-squared  0.997282    S.D.  dependent    var        848.4387 S.E. of regression44.23232    Sum squared resid369778.1 F-statistic69692.66    Durbin-Watson stat  0.122247 Prob(F-statistic)0.000000  各项指标较令人满意。 第二个方程恰好识别，工具变量正是全体前定变量，命令截图如下： 结果： Dependent Variable: INV Method: Two-Stage Least Squares Date: 12/18/05   Time: 13:34 Sample(adjusted): 1947:2 1994:4 Included observations: 191 after adjusting endpoints Instrument list: GOV_NET GDP(-1) Variable      Coefficient                               Std. Error                              t-Statistic                            Prob.   C    -455.098521307133.037097245-3.420839230040 GDP   14.108893714112.379841419810.255875108 GDP(-1)   -13.960227413612.434575533                       -1.122694327320.262999  R-squared-1.36062640573    Mean dependent var303.927224124 Adjusted R-squared-1.3857394526    S.D. dependent var261.368286007 S.E. of regression403.705248945    Sum squared resid4689 F-statistic37.6556812684    Durbin-Watson stat1.25547782065 Prob(F-statistic)1.76479958893e-14      R2和修正的R2显

本文是 Least squares approximation 的学习笔记。这个视频从线性代数的角度，对最小二乘法的原理讲解的通俗易懂。
1 提出问题
如上图所示： 
A： 是一个n行k列的矩阵，每行可以看作是一个观测数据（或者一个训练样本）的输入（features）； 
b： 是一个n维的列向量，每项表示一个观测数据的目标值（ground truth target value）；
x： 是一个k维的列向量，是需要构建的线性模型的参数。
我们希望通过已知的A和b，求解出一个x，使得Ax = b。 但是，一般情况下，不存在满足这个等式的x。 怎么办？
2 分析问题
Ax = b这个等式的左边，可以看作是一个矩阵A的列空间（Column space of A）。 这个等式没有解，可以理解为向量b不在矩阵A的列空间上。 如下图所示：  
A的列空间可以抽象成一个超平面，b可以抽象成一个向量。b不在超平面上。
解决办法是：在超平面上，找一个最接近b的向量。假设这个最接近b的向量是Ax*（其中x* 就是最优的参数解），那么，向量b和向量Ax*之间的距离应该是最小的。所以，可以通过最小化b和Ax*之间的距离，来求出x*，如下图所示：
这个就是最小二乘（least square estimate、least square solution、least square approximation）的含义。结合上图中的公式，最小二乘计算的是：求一个近似的x*，使b和Ax*各项的差的平方的和最小。
3 解决问题
 从上图可以看出，在超平面上，距离b最近的向量是b向量在超平面上的投影向量v。所以，Ax*其实就是这个投影向量v。所以：
Ax* - b 得到的向量， 与矩阵A的列空间正交；
矩阵A的列空间正交的向量，正好是矩阵A的转置的零空间中的向量；
Ax* - b 是矩阵A的转置的零空间的一个向量，所以Ax - b 乘 A的转置 得到一个0向量
如下图所示：
 根据上面的等式，可以得出：
总结整个最小二乘的逻辑：
已知A，b，根据等式Ax = b求解x；
但是，以上等式没有解，只能求一个最优的近似的解；
根据最小二乘算法，可以求出一个x*，就是 Ax = b的最优解。

展开全部
因为要提高e69da5e887aa62616964757a686964616f31333433656130参数估计的无偏性，两阶段最小二乘法用于检验有内生性变量的回归模型。工具变量法对于恰好识别的结构方程是有效的。
但对过度识别方程虽然能够给出过度识别结构方程的参数估计，但这种方法不是有效的。其原因在于选择工具变量的任意性和失去了未被选用的前定变量所提供的信息。
扩展资料：
在实际应用二阶段最小二乘法时，第一阶段对约简型方程应用OLS法只需求出我们所需要的，并不需要求出相应的εit的值。第二阶段只需用代替所估计方程右边的yit即可应用OLS法，只不过这里的ε*it已不是原来uit罢了。综上所述，二阶段最小二乘法第一阶段的任务是产生一个工具变量。
第二阶段的任务是通过一种特殊形式的工具变量法得出结构参数的一致估计量。
两阶段最小二乘法的优点和缺点
两阶段最小二乘法分析隐变量交互作用，对变量的分布没有限制。变量无论是正态分布，还是非正态分布都可以使用。这个优点使得2SLS方法在隐变量交互作用分析中受到重视。
因为现方法应用时，可以直接利用原始数据，不必对原始数据进行转换，也不必拟合交叉乘积指示变量的度量为一程。更重要的是2SLS为一法可以在几乎所有的统计软件上实现。
2SLS为一法的缺点是一次只能估计一个为方程，且由于其基于渐近自由分布的理论，所以要求较大的样本容量。