鄙人学习笔记

参考文献：《计量经济学模型及R语言应用》-王斌会

复相关分析模型
在实际分析中，一个变量的变化往往要受到多种变量的综合影响，这时就需要采用复相关分析法。所谓复相关，就是研究多个变量与某个变量之间的相关关系。度量复相关程度的指标是复相关系数，复相关系数也称为多元相关系数或多变量相关系数。
设因变量为y,自变量为x1,x2,…,xp,假定回归模型为：




复相关系数反映了一个变量与另一组变量关系密度的程度。复相关系数的假设检验等价于多元回归的方差分析结果。

从复相关系数的公式我们可以看到，复相关系数时拟合优度或可决系数的开放，或者说可决系数是复相关系数的平方。

本文就对多元统计中的复相关系数和偏相关系数进行阐述和说明。
1.复相关系数（Multi-correlation coefficient）
指度量$\ y$ 与其最优线性预测 $\widetilde y$ 之间的相关系数。 也即有一个随机变量$\ y$ 和一组随机变量 $\ x=(x_1,x_2,\dots,x_p)'$ , 现在寻找 $\ y$ 和该组 $\ x$ 变量之间的整体相关性。

在一般情况下，$\ y$和$\ x$组成员$\ x_i$ 都具有一定的相关性。比如在人体素质测试中，若有 肺活量 为$\ y$，以及年龄（$\ x_1$）、体重（$\ x_2$）、800米跑步时间（$\ x_3$）、休息时的脉搏（$\ x_4$）和跑步时的脉搏（$\ x_5$）六个测试项目。肺活量与其余5个变量中的每一个都具有相关性。而我们想要研究肺活量与其余五个变量之间的整体相关性。

为做到这点，首先找到一个线性组合 $\ l'x$ 将$\ x$ 中包含的关于 $\ y$ 的信息最大限度地提取出来，然后计算 $\ y$ 与 线性组合 $\ l'x$ 之间的相关性，此即为复相关系数，表示为 $\rho_{y·x}$ / $\rho_{y·1,2,3,\dots,p}$ /$\rho(y,l'x)$。
根据相关系数定义，我们有$\rho^{2}(y,l'x)=\frac{Cov(y,l'x)}{V(y)*V(l'x)}=\frac
{(\sigma_{yx}l')^2}{\sigma_{yy}*l'\Sigma_{xx}l}.$

通过柯西—施瓦茨不等式

设有一$\ B>0$,则有$\ (x'y)^2\leqslant (x'Bx)(y'B^{-1}y).$等号成立当且仅当$\ x=cB^{-1}y$或$\ y=cBx$，$\ c$为常数。

设$\ B=\Sigma_{xx}^{-1}$,得到复相关系数的平方为$\rho^{2}(y,l'x)\leqslant\frac{(\sigma_{xy}'\Sigma_{xx}^{-1}\sigma_{xy})(l'\Sigma_{xx}l)}{\sigma_{yy}*(l'\Sigma_{xx}l)}=\frac{\sigma_{xy}'\Sigma_{xx}^{-1}\sigma_{xy}}{\sigma_{yy}}.$

当$\ B=\Sigma_{xx}^{-1}，l=\Sigma_{xx}^{-1}\sigma_{xy}$时等式成立。

因此，复相关系数计算公式为 $\rho_{y\cdot x}=max \rho(y,l'x)=\sqrt{\frac{\sigma_{xy}'\Sigma_{xx}^{-1}\sigma_{xy}}{\sigma_{yy}}}.$

其中，$\sigma_{xy}$为$\ x和y$的协方差矩阵，$\Sigma_{xx}$为$\ x$组的自协方差矩阵。$\sigma_{xy}'\Sigma_{xx}^{-1}x$为$\ y$的最优线性预测$\widetilde y$。以上公式也可化为$\sqrt{\rho_{xy}'R_{xx}^{-1}\rho_{xy}}$利用相关系数$\rho_{xy}$和相关矩阵$\ R_{xx}$求解。
2.偏相关系数（Partial-correlation coefficient）
指剔除其他变量的线性影响后，变量$\ x_i 与 x_j$之间的相关系数。要真正度量两个随机变量之间的相关性，必须要剔除由第三方带来的影响。

例如：①男生和女生两家相好。他两之间的亲密度可看做是相关系数。两人要想真正走在一起，必须要剔除双方父母带来的影响，测量两个人之间不受其他干扰时剩下的亲密度。这就是偏相关系数。②一个家庭的饮食支出和衣着支出存在较强的正相关性，也就是说一般吃的费用大的一般穿的费用也大，即相关系数大。但实际上，这种“伪强正相关”是由于收入这个第三方变量引起的。一般而言，高收入带动了各方面的消费支出。如果控制收入不变，则饮食和衣着费用之间的相关性则大不相同，甚至变成负相关性。消除第三方变量的影响后两者的相关性，称作偏相关。

相关系数也称为总相关系数或零阶偏相关系数，包含了一切影响带来的相关性。设有多元随机变量$\ x$，对$\ x$ 及其均值向量 $\mu$ 、总体自协方差矩阵 $\Sigma$ 做剖分如下：$\ x=\binom{x_1}{x_2}\begin{matrix}k\\p-k\end{matrix},\mu=\binom{\mu_1}{\mu_2}\begin{matrix}k\\p-k\end{matrix},\Sigma=\begin{pmatrix}\Sigma_{11}&\Sigma_{12}\\ \Sigma_{21}&\Sigma_{22}\end{pmatrix}\begin{matrix}k\\p-k\end{matrix}.$

以下讨论消除$\ x_2$的线性影响后$\ x_1$分量之间的相关性，先记为$\Sigma_{11\cdot2}$。
我们讨论的方法是

首先找到$\ x_2$对$\ x_1$各分量$\ x_i$的最优线性预测 $\widetilde x_i$，将$\ x_2$中包含的$\ x_i$的信息尽可能提取出来；
计算预测误差$\ e_i=x_i - \widetilde x_i$，表示$\ x_2$无法解释的部分;
度量$\ e_i$之间的相关性，计算$\ V(e)$；
利用相关系数公式，代入$\ V(e)$成分计算偏相关。

由最优线性预测公式

$\widetilde y=\mu_y+\sigma_{xy}'\Sigma_{xx}^{-1}(x-\mu_x)$

可知$\widetilde e_i=x_i-[\mu_i+a_i'\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)].$

其中$\ a_i=(0,\dots,0,1,0,\dots,0)':k×1$,1出现在第$\ i$个位置。导出$\ e=x_1-[\mu_1+(a_1,\dots,a_k)'\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)]$ $\ =x_1-[\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)].$

计算$\ x_i$各分量间的相关性，则有$\ V(e)=V(x_1-[\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)])$ $\ =V(x_1-\Sigma_{12}\Sigma_{22}^{-1}x_2)=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}=\Sigma_{11\cdot2}.$
于是，我们称$\Sigma_{11\cdot2}=(\sigma_{ij,k=1,\dots,p})$为偏协方差矩阵，非对角元素称为偏协方差，对角元素称为偏方差。根据相关系数的公式推导出$\ x_2$给定时，$\ x_i$和$\ x_j$的$\ (p-k)$阶偏相关系数的计算公式为$\rho_{ij\cdot k+1,\dots,p}=\frac{\sigma_{ij\cdot k+1,\dots,p}}{\sqrt {\sigma_{ii\cdot k+1,\dots,p}*\sigma_{jj\cdot k+1,\dots,p}}},1\leqslant i,j\leqslant k.$

开贴举例说明相关系数、复相关系数及半偏相关系数之间的联系。

比如，我们要预测学生在高中的表现（学生成绩），一种方法是测量学习速度和难易程度的能力测验来衡量学生的学习能力。那么，假设一个学生已经做了这样的测验，在这个样本中学习能力（X1）与学习成绩（Y）的相关系数是r1=.4，这就表明能力可以解释学习成绩方差的.42=.16，即16%。不过，还有84%的方差尚未得到解释（参考：已解释和未解释的方差）。
与大多数的学生表现一致，能力并不是唯一重要的因素。努力程度或学习动机等也可能很有效预测实际表现。假设我们可以准确的调查学生在同一学期的学习时间（单位：h）。在这个例子中，学习时间（X2）和学习成绩的相关系数是r2=.3。尽管这不如学习能力的相关程度高，但学习时间仍然可以解释.32=.09（9%）的学习成绩方差。但是这9%的方差和被学习能力解释的16%的方差是否不同呢？我们是不是能够简单地把两个百分数加起来，然后说能力和学习时间总共解释了9%+16%=25%的学习成绩方差呢？如果学习能力和时间的相关为0，那么我们就可以这样下结论。
如图 1fig1.cdr所示，如果学习成绩的总方差以一个长方形表示，那么学习能力和学习时间可用长方形内两个独立的圆圈表示。圆圈的面积就对应于每个预测变量能解释的方差百分比。在这样的图中，图形重叠表示变量相关，而不重叠表示变量不相关。我们称这样的图为韦恩图（Venn
 Diagram）。在图 1的韦恩图中，两个圆圈没有重叠，说明他们代表的预测变量是相互独立的（两者的相关系数为0）。两个圆圈加起来就表示两个预测变量加在一起可以解释因变量（效标变量）的方差比例。如果我们用R2表示被解释的总方差，我们就可以看出，在这个例子中，R2=r12+r22=.42+.32=.25。与r2称为决定系数一致，R2称为复决定系数（Coefficient
 of multiple determination）。

图 1
如果不平方，则R称为复相关系数（Multiple
 Correlation Coefficient），它是（基于两个及其以上预测变量）对因变量（效标变量、被解释变量）做的预测值和因变量的实际值之间的相关。在本例中，R=.5，比简单把两个相关系数加起来要小，但比他们其中任何一个都大（只要当两个为正且相互独立的r合并，都会有这种情况）。
不过，你很快就会发现，在真实世界里，就连只有两个预测变量的情况，预测变量之间的相关系数r也往往并不等于0，换句话说，预测变量之间也不是完全独立的，而是相互作用的。还是回到上文的例子中，假设高学习能力的学生稍微倾向于花更多的学习时间，因此学习能力与学习时间的相关系数是r12=.2。此时，两个预测变量之间的相关在韦恩图中就被表示为两个圆圈之间的重叠部分，如图
 2fig2.cdr所示。一个预测变量所解释方差的一部分仍可以被另一个预测变量来解释（请注意，为了强调其中有趣的关系，图
 2中的各个面积并没有按相应的比例成图）。

图 2
在图 2中，复决定系数R2是两个圆圈所覆盖的面积。由于两个圆圈有重叠，因此R2比我们上次那样简单地把两个圆圈加起来的要小。如果仍然简单相加，重叠部分就被重复计算了。所以，R2实际上是A、B和C面积之和，因此R2=.21。
那么，问题又来了。学习能力（X1）可以解释学习成绩的方差比例为16%，其中有4%又可以被学习时间（X2）所解释，那么剩余的12%就是学习能力“唯一”可以解释的方差比重，我们对A面积开平方得到（sqrt(.12)=）.3464，这就是学习能力（X1）与学习成绩（Y）的半偏相关系数。这个半偏相关系数告诉我们学习时间（X2）保持不变时，学习能力（X1）与学习成绩（Y）之间关系的强度。同样地，B面积开平方得到学习时间与学习成绩的半偏相关系数（sqrt(.05)=）0.2236，或者R2减去学习能力相关系数的平方r12再开方。
互补现象
还是上文这个例子，假设聪明学生都不怎么爱学习，r12就为负数。这群学生中，聪明学生比较懒，而不聪明学生却很努力弥补能力上的不足，r12=-.2（在韦恩图中没办法表示这种负相关）。但是，这种负的重叠会增加R2，使得R2比r12+r22要大，用下式直接计算R2：



式中：在符号ry(1.2)中，圆点之后的数字表示被排除在外的变量，括号表示这种排除只局限于在括号内的变量。Y不在括号里告诉我们这是半偏相关系数而不是偏相关系数。代入上式，得到此时R2=.307，X1、X2的半偏相关（半偏相关系数）为.4695和.3878，高于各自的效度（相关系数）.4和.3。这就是互补现象。

抑制现象








参考文献
[1] Cohen BH. Explaining psychological statistics[M]. New York, US:John Wiley & Sons, 2008.
中译本:
高定国等译,
心理统计学(第三版)[M].
上海:华东师范大学出版社,
 2011.

典型相关分析系列博文：

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析

目录

1 典型相关分析的基本思想

典型相关的数学描述 

复相关系数：

偏相关系数

1 典型相关分析的基本思想

通常情况下，为了研究两组变量



的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有 pq 个简单相关系数，这样又繁琐又不能抓住问题的本质。如果能够采用类似于主成分的思 想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。 首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，



然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相 关，第二对本身具有次大的相关性。



典型相关的数学描述

研究两组随机变量之间的相关关系，可用复相关系数（也称全相关系数）。1936 年 Hotelling 将简单相关系数推广到多个随机变量与多个随机变量之间的相关关系的讨论 中，提出了典型相关分析。 实际问题中，需要考虑两组变量之间的相关关系的问题很多，例如，考虑几种主要 产品的价格（作为第一组变量）和相应这些产品的销售量（作为第二组变量）之间的相 关关系；考虑投资性变量（如劳动者人数、货物周转量、生产建设投资等）与国民收入 变量（如工农业国民收入、运输业国民收入、建筑业国民收入等）之间的相关关系等等。

复相关系数：

















偏相关系数





典型相关分析系列博文：

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析