person correlation coefficient（皮尔森相关性系数）
spearman correlation coefficient（斯皮尔曼相关性系数）
kendall correlation coefficient（肯德尔相关性系数）

典型相关分析系列博文：

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析

目录

1 典型相关分析的基本思想

典型相关的数学描述 

复相关系数：

偏相关系数

1 典型相关分析的基本思想

通常情况下，为了研究两组变量



的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有 pq 个简单相关系数，这样又繁琐又不能抓住问题的本质。如果能够采用类似于主成分的思 想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。 首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，



然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相 关，第二对本身具有次大的相关性。



典型相关的数学描述

研究两组随机变量之间的相关关系，可用复相关系数（也称全相关系数）。1936 年 Hotelling 将简单相关系数推广到多个随机变量与多个随机变量之间的相关关系的讨论 中，提出了典型相关分析。 实际问题中，需要考虑两组变量之间的相关关系的问题很多，例如，考虑几种主要 产品的价格（作为第一组变量）和相应这些产品的销售量（作为第二组变量）之间的相 关关系；考虑投资性变量（如劳动者人数、货物周转量、生产建设投资等）与国民收入 变量（如工农业国民收入、运输业国民收入、建筑业国民收入等）之间的相关关系等等。

复相关系数：

















偏相关系数





典型相关分析系列博文：

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析

 

 

典型相关分析系列博文：

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析

目录

1  原始变量与典型变量之间的相关性 

（1）原始变量与典型变量之间的相关系数

（2）各组原始变量被典型变量所解释的方差

2  典型相关系数的检验

1．计算样本的协方差阵

2．建立整体检验 & 统计量

3．部分总体典型相关系数为零的检验

 1  原始变量与典型变量之间的相关性 

（1）原始变量与典型变量之间的相关系数





（2）各组原始变量被典型变量所解释的方差



2  典型相关系数的检验

在实际应用中，总体的协方差矩阵常常是未知的，类似于其他的统计分析方法，需 要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利 用估计得到的协方差或相关系数矩阵进行分析。由于估计中抽样误差的存在，所以估计 以后还需要进行有关的假设检验。

1．计算样本的协方差阵



2．建立整体检验 & 统计量





3．部分总体典型相关系数为零的检验





 

典型相关分析系列博文：

 

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析

 

	

点击“蓝字”关注我们
典型相关分析
 一、典型相关分析概述 
1.1基本思想
 在一元统计分析中，两个随机变量X，Y之间的线性相关关系可用简单相关系数描述；一个随机变量Y和一组随机变量X之间的线性相关关系可用复相关系数描述；固定其他变量Xj(j≠i)条件下，Y与某个Xi之间的相关关系可用偏相关系数描述[1]。
      而在实际应用中，还会遇到研究两组随机变量X (X1,X2,X2,...,Xp)和Y (Y1,Y2,Y3,...,Yq)之间的相关关系，如运动员的体力测试指标(如反复横向跳、纵跳、背力、握力等)与运动能力测试指标(如耐力跑、跳远、投球等)之间的相关关系时，若仅用某个变量Yj(如耐力跑)和变量组X的复相关系数描述,则只能反应变量组X与Yj之间的关系，而不能完整地表达出两个变量组之间的关系。当同时研究两个变量组X和Y之间关系时候，不仅要考虑单个Xi和Yj之间的相关，也要考虑X和Y变量组内各个变量间的相关性，针对此类问题，Hotelling于1936年在主成分分析和因子分析的基础上提出典型相关分析(Canonical Correlation Analysis, CCA)方法[2]。
作为研究两组随机变量之间整体线性相关关系的一种多元统计方法，CCA的基本思想是将每组变量作为一个整体进行研究，借助主成分分析降维的思想，针对每一变量组分别寻找其最佳线性组合，使新生成的综合变量提取了原始变量组的大部分信息，同时与另一变量组新生成的综合变量之间相关程度最大。
      CCA的具体过程为首先在每组变量中找出变量的线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其依然最大化相关但与第一对变量组合不相关，如此继续下去，直到两组变量之间的相关性被提取完毕为止。这些综合变量被称为典型变量(又称典则变量)，第Ｉ对典型变量间的相关系数则被称为第Ｉ典型相关系数。一般来说，只需要提取１～２对典型变量即可较为充分地概括变量信息。
当两个变量组均只有一个变量时，典型相关系数即为简单相关系数；当一组变量只有一个变量时，典型相关系数即为复相关系数。因此可以认为典型相关系数是简单相关系数、复相关系数的推广。
1.2基本原理
基于主成分的降维思想，可以把多个变量之间的相关转化为两个变量之间的相关。
设有两组互相关联的随机变量：X=(X1,X2,…,XP)，Y=(Y1,Y2,…,Yq)(p≤q)。我们从中找到若干个具有代表性的综合变量U、V(分别为两个变量组中各变量的线性组合)，用公式表示为：
U=a1X1+a2X2+…+apXp
V=b1Y1+b2Y2+…+bqXq
它们之间的相关系数为典型相关系数，即：
由于随机变量U和V相关系数在线性变换下是不变的，故可设为标准化随机变量U、V，即：
Var(U)=1
Var(V)=1
因此，寻找一组a、b使得ρ最大(U和V之间有着最大相关性)，即为典型相关，此时(U1,V1)称之为第一对典型相关变量；依此类推，求得第二对典型相关变量(U2,V2)，使其在与第一对线性组合不相关的线性组合中，相关性最大。如此下去，直到提取完毕。最终提取的典型变量对为(U1,V1)，(U2,V2)…(Up,Vp)。
1.3结果解释
保留具有统计学意义的典型相关系数所对应的典型变量；当存在不只一个典型相关系数有统计学意义时，重点考虑的顺序按典型相关系数从大到小；根据各对典型相关系数对应的两组变量的因子载荷，有时需要根据标准化系数的大小，观察各个变量的作用大小和方向；结合专业实际，再给予合理的解释。
1.4重要概念
(1) 典型相关系数：典型相关变量之间的简单线性相关系数称为典型相关系数。典型相关系数越大，说明该系数对应的典型变量越重要，越能体现原始变量组之间的相关关系。
(2) 标准化系数：两组变量中的单位不同时，为消除量纲和数量级别的影响，必须对数据先进行标准化变换处理，对原始变量进行标化后所得典型变量的系数称为标准化系数。
(3)  结构系数：依据原始变量与典型变量之间的相关关系矩阵，分析原始变量和典型变量之间的相关程度。原始变量与典型变量之间的相关系数称为结构系数，反应了每个原始变量对典型变量的相对贡献，可通过结构系数揭示典型相关变量的实际含义。
典型变量的典型结构示意图[3]
1.5应用条件[4]：
(1)  原始变量服从多元正态分布；
(2)  样本量要大于原始变量的个数；
(3)  两组变量间具有非线性相关性；
(4)  原始变量组内存在一定相关性，但又不能存在高度的多重共线性，相关系数＜0.9。
二、典型相关分析的步骤 [1,4]
2.1两样本总体相关性检验
基于巴特利球形检验(Barlett Test of Sphericity)检验变量组内相关性；基于可决定系数和方差膨胀因子或病态指数法检验组内变量的多重共线性。之后，在正态性假定的前提下，使用Wilks似然比统计量进行两总体相关性的假设性检验。
2.2典型相关分析
包括典型相关分析和典型结构，前者可得出典型相关系数和标准化典型相关系数。对于在使用时应该选择标准典型相关系数还是未标准典型相关系数，取决于研究变量的单位。如果单位相同，则看未标准化的典型相关系数，如果单位不同，则看标准化后的典型相关系数。
2.3典型相关系数检验
典型相关系数近似服从F分布。在SAS统计软件中，对第一对典型相关系数有4种检验方法：Wilks’ Lambda、Pillai’s Trace、Hotelling-Lawley Trace和Roy’s Greatest Root。
2.4冗余分析(redundancy analysis)
基于原始/实测变量与典型变量间的相关性，分析引起原始变量变异的原因。冗余指数代表了一组变量对另一组变量方差的解释能力。其值越大，表示一对典型变量分别解释对方原始变量的能力越强，代表性越好。
三、实例
典型相关分析适用于很多临床或流行病学研究场景。比如研究病人各种临床症状与所患各种疾病之间的相关性；研究一组反映居民营养状况的指标与另一组反映其健康状况的指标之间的相关性等等。
CCA分析可通过SPSS、Matlab、Stata和SAS等软件实现。下面以SAS9.4为例，演示CCA的具体分析过程。
●●●●●●
示例：为了探讨小学生生长发育指标与身体素质变量之间的相互关系，对某市小学生进行了抽样调查。现仅对84例10岁男孩的4项生长发育指标(肺活量X1、身高X2、体重X3、胸围X4)与4项身体素质指标(50米跑Y1、跳高Y2、跳远Y3、实心球掷远Y4)进行典型相关分析。
SAS程序如下：
data CCA_example;/*数据文件*/
  input x1-x4 y1-y4;/*输入变量*/
cards;
1210    120.1    23.8    61.0    10.2    66.3    2.01    2.73
1210    120.7    23.4    59.8    11.3    67.6    1.92    2.71
1040    121.2    22.9    59.0    10.1    66.5    1.92    2.60
……
;
proc cancorr;/*典型相关过程步*/
  var x1-x4;/*第一组变量*/
  with y1-y4;/*第二组变量*/
run;
运行结果如下：
这里输出的是各典型相关系数的近似F值及显著性检验结果。第一行第一列r1是第一对典型变量(V1，W1)之间的典型相关系数，r1=0.885844；同理，r2=0.279152，r3=0.194049，r4=0.037965。从上表可发现，在0.05检验水平下，只有第一个典型相关系数0.885844是显著的。
第一典型相关系数的几种近似F检验。
线性方程：
V1=0.0005X1+0.0707X2+0.0316X3+0.1414X4
W1=-0.2132Y1+0.0973Y2+0.2613Y3+0.6272Y4
下图为标准典型相关系数(又称典型权重)，本例中，单位不相同，我们选择标准化的典型相关系数。
由上表可知，X4在V1上的典型权重较大，说明X4对典型变量V1的贡献较大。结合本问题的专业知识，可基于第1对“标准化部分所给出的系数”作为具体解释：生长发育方面主要的变量有X2(身高)、X3(体重)和X4(胸围)；反映身体素质方面主要的变量有Y2(跳高)、Y3(跳远)和Y4(实心球掷远)。说明个子较为高大的男孩在跳高、跳远和实心球掷远这三个项目上的成绩较好。
以上前两张表输出的是典型结构相关系数，是原始变量与其典型变量间的简单线性相关系数。
这里输出的是典型变量与原始变量的复相关系数，结果显示第一组(VAR)变量的第一典型变量对第二组(WITH)变量中的Y2的解释能力最强(85.61%)，说明跳高最能体现身体素质。
     
● 参考文献 ●
[1] 姜晶梅. 医学实用多元统计学[M]. 北京: 科学出版社, 2014.
[2] HOTELLING H. RELATIONS BETWEEN TWO SETS OF VARIATES*[J]. Biometrika, 1936, 28(3-4): 321-377.
[3] 王欢, 胡水清, 李一辰, 等. 学前儿童动作技能与身体素质水平的典型相关分析[J]. 中国体育科技, 2019, (6).
[4] 傅德印,黄健. 典型相关分析中的统计检验问题[J]. 统计研究, 2008, 25(7): 110-112.
大话统计
文稿：张愉涵 艾飞玲
校稿：申郁冰;编辑：张瑞
我们是由北京协和医学院流行病与卫生统计学专业及临床专业硕博研究生团体创建的一个创业小团体，团体成员的专业背景非常丰富，除了包括流行病与卫生统计学人才外、还包括临床各专业人才等。欢迎您的留言和分享！