person correlation coefficient（皮尔森相关性系数）
 
spearman correlation coefficient（斯皮尔曼相关性系数）
 
kendall correlation coefficient（肯德尔相关性系数）

自己整理编写的R语言常用数据分析模型的模板，原文件为Rmd格式，直接复制粘贴过来，作为个人学习笔记保存和分享。部分参考薛毅的《统计建模与R软件》和《R语言实战》
 
1 关键点：典型相关分析
 
典型相关分析是用于分析两组随机变量之间的相关程度的一种统计方法，它能够有效地揭示两组随机变量之间的相互（线性依赖）关系
 
例如 研究生入学考试成绩与本科阶段一些主要课程成绩的相关性
 
将研究两组变量的相关性问题转化为研究两个变量的相关性问题 此类相关为典型相关#
 
2 分类：
 
总体典型相关
 
样本典型相关
 
3 R语言提供的计算函数：
 
典型相关计算 cancor(x,y,xcenter=TRUE,ycenter=TRUE)
 
x,y是相应的数据矩阵 xcenter，ycenter是逻辑变量 TRUE是将数据中心化 FALSE是不中心化
 
4 分析结果含义
 
cor是典型相关系数 
 
xcoef是对应于数据x的系数 又称关于数据x的典型载荷即样本典型变量U系数矩阵A的转置
 
xcenter是数据X的中心 即数据X的样本均值
 
y是对应于数据x的系数 又称关于数据y的典型载荷即样本典型变量V系数矩阵B的转置
 
ycenter是数据Y的中心 即数据Y的样本均值
 
5 分析步骤
 
（1.）载入原始数据 data.frame
 
（2.）原始数据标准化 scale
 
（3.）典型相关分析 cancor
 
（4.）相关系数显著性检验 corcoef.test.R
 
 
I.典型相关分析的计算
 
现对20名中年人测得三个生理指标：体重(X1) 腰围(X2) 脉搏(X3);三个训练指标:引体向上(Y1) 起座次数(Y2) 跳跃次数(Y3) 试分析这组数据的相关性
 
#用数据框的形式输入数据矩阵
test<-data.frame(
  X1=c(191, 193, 189, 211, 176, 169, 154, 193, 176, 156, 
       189, 162, 182, 167, 154, 166, 247, 202, 157, 138), 
  X2=c(36, 38, 35, 38, 31, 34, 34, 36, 37, 33, 
       37, 35, 36, 34, 33, 33, 46, 37, 32, 33),
  X3=c(50, 58, 46, 56, 74, 50, 64, 46, 54, 54,
       52, 62, 56, 60, 56, 52, 50, 62, 52, 68), 
  Y1=c( 5, 12, 13,  8, 15, 17, 14,  6,  4, 15, 
        2, 12,  4,  6, 17, 13,  1, 12, 11,  2), 
  Y2=c(162, 101, 155, 101, 200, 120, 215,  70,  60, 225, 
       110, 105, 101, 125, 251, 210,  50, 210, 230, 110), 
  Y3=c(60, 101, 58, 38, 40, 38, 105, 31, 25, 73, 
       60, 37, 42, 40, 250, 115, 50, 120, 80, 43)
)
#为了消除数量级的影响 将数据标准化处理 调用scale函数
test<-scale(test)
#对标准化的数据做典型相关分析
ca<-cancor(test[,1:3],test[,4:6])
#查看分析结果
ca
 
结果说明: 
 1) $cor给出了典型相关系数;$xcoef是对应于数据X的系数, 即为关于数据X的典型载荷; $ycoef为关于数据Y的典型载荷;$xcenter与$ycenter是数据X与Y的中心, 即样本均值;
 
2) 对于该问题, 第一对典型变量的表达式为
 
U1 = -0.17788841x1 + 0.36232695x2 - 0.01356309x3
 
U2 = -0.43230348x1 + 0.27085764x2 - 0.05301954x3
 
U3 = -0.04381432x1 + 0.11608883x2 + 0.24106633x3
 
V1 = -0.08018009y1 - 0.24180670y2 + 0.16435956y3
 
V2 = -0.08615561y1 + 0.02833066y2 + 0.24367781y3
 
V3 = -0.29745900y1 + 0.28373986y2 - 0.09608099y3
 
相应的相关系数为：p(U1,V1)=0.79560815 ,p(U2,V2)=0.20055604 ,p(U3,V3)=0.07257029
 
可以进行典型相关系数的显著性检验, 经检验也只有第一组典型变量.
 
下面计算样本数据在典型变量下的得分：
 
#计算数据在典型变量下的得分 U=AX  V=BY
U<-as.matrix(test[, 1:3])%*% ca$xcoef ; U
V<-as.matrix(test[, 4:6])%*% ca$ycoef ; V
#调整图形
opar <- par(mfrow = c(1, 1),mar = c(5,4,1,1))
#画出以相关变量U1、V1和U3、V3为坐标的数据散点图
plot(U[,1], V[,1], xlab="U1", ylab="V1")
plot(U[,3], V[,3], xlab="U3", ylab="V3")
#调整图形
par(opar)
 
由散点图可知 第一典型相关变量分布在一条直线附近；第三典型相关变量数据很分散。因为第一典型变量其相关系数为0.79560815，接近1，所以在一直线附近；第三典型变量的相关系数是0.07257029，接近于0，所以很分散。
 
 
II.典型相关系数的显著性检验
 
作为相关分析的目的 就是选择多少对典型变量？因此需要做典型相关系数的显著性检验。若认为相关系数k为0 就没有必要考虑第k对典型变量了
 
#相关系数检验R程序
corcoef.test<-function(r, n, p, q, alpha=0.1){
   #r为相关系数 n为样本个数 且n>p+q
   m<-length(r); Q<-rep(0, m); lambda <- 1
   for (k in m:1){
     #检验统计量 
     lambda<-lambda*(1-r[k]^2); 
      #检验统计量取对数
     Q[k]<- -log(lambda)  
   }
   s<-0; i<-m 
   for (k in 1:m){
     #统计量  
     Q[k]<- (n-k+1-1/2*(p+q+3)+s)*Q[k]
      chi<-1-pchisq(Q[k], (p-k+1)*(q-k+1))
      if (chi>alpha){
         i<-k-1; break
      }
      s<-s+1/r[k]^2
   }
  #显示输出结果 选用第几对典型变量
    i
}
 
source("corcoef.test.R")
#输入相关系数r，样本个数n，两个随机向量的维数p和q，置信水平a（缺省值为0.1）
corcoef.test(r=ca$cor,n=20,p=3,q=3)
#程序输出值为典型变量的对数
 
最终程序运行结果显示选择第一对典型相关变量。我们只利用第一典型变量分析问题，达到降维的目的。
 
write.csv(test,"test_test.csv") 

 
 
 
  
  本文主要介绍相关系数的概念，以及简单相关系数中的pearson相关系数及其局限性。随后介绍pearson相关系数无法解决的问题(两个变量组之间的相关性问题)的解决方案。
  
1、pearson相关系数
  
在日常中，我们经常会遇到一些关于相关性的分析，例如，一个人每日的运动量与他体重之间的相关性，一支股票的价格与该公司的盈利状况的相关性等等。在上述两种情况下，我们给出的结论一般是，一个人每日的运动量越大，他的体重就越轻；公司的盈利状况越好股票的价格越高。那么相关性到底是个什么东西呢？根据维基百科的定义：
  
相关(Correlation，或称相关系数或关联系数)，显示两个随机变量之间线性关系的强度和方向。在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。
  
实际上，早在19世纪80年代相关性在统计学上有明确的定义，由卡尔·皮尔逊提出的pearson相关系数就是最常用的相关系数，是一种简单相关系数。我们平时谈论的相关，基本上指的都是线性相关，在线性相关中最常用的就是pearson相关系数。除了此之外，还有其他的一些相关系数如：Spearman相关系数，称为“秩相关系数”是反映等级相关程度的统计分析指标，描述的是变量间等级、序数之间的关系。而与pearson相关系数同为简单相关系数的是夹角的余弦值，也就是余弦相似度。本文将主要介绍pearson相关系数。
  
pearson相关系数的取值在-1到+1之间，其中取值为-1时表示完全负相关，+1时表示完全正相关，0为不相关。具体的计算公式如下：
  

  
其中，是X与Y的协方差，,分别为X与Y的标准差。
  
下图是《数据挖掘导论》中关于pearson相关系数的图，能够比较直观的展示pearson相关系数值得大小与相关性的关系。
  

  
《数据挖掘导论》：pearson相关系数
  
正如之前说的，pearson相关系数是一种简单相关系数，反映的是两个变量之间的线性关系，因此对于非线性的关系，pearson相关系数会接近于0，无法描述，如下图：
  

  

  

  
维基百科相关系数(x,y)点集图
  

  
2、典型相关性分析(CCA)
  
pearson相关系数描述的是一个变量与另外一个变量之间的相关性。但是现实中，多个变量与多个变量之间的关系往往会更常见。例如，我们想知道一个人的日常情况(每日运动量X1、日常饮食X2)与他的健康状况(血压Y1、血糖Y2)之间的相关性；一支股票的价格(开盘价X1、收盘价X2、最高价X3)与它公司(盈利情况Y1，所处行业整体趋势Y2，负面消息量Y3)的相关性。
  
如果我们直接使用pearson相关系数来解决上述例子的话，就需要考虑所有变量，两两之间的相关性。但是这种做法只能孤立的考虑单个变量Xi与Yj间的关系，没有考虑变量所在的变量组本身各个子变量的相关性。
  
了解多元回归分析的人可能知道，以股票为例，如果我们只想知道它的每日最高价与公司之间(盈利情况，所处行业整体趋势，负面消息量)的相关性，就可以将股票最高价最为Y，公司情况分别为X1，X2，X3，通过数据进行拟合，来找到Y与X之间的最佳线性组合。但是如果考虑多个Y，那么多元回归分析就显得有些无从下手。
  
实际上，典型相关性分析就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法，是简单相关的推广，是多元回归分析的延伸。它的应用场景主要是多视图分析与两组变量之间的相关性分析，且每组变量包含多个子变量，且子变量相互有一定的相关性。
  
典型相关性分析(CCA)算法的基本思想是在两组变量上分别找到一种线性组合
  

  

  
使得X与Y之间的pearson相关系数最大。所以CCA就转化为如何去求解这两组线性组合的系数，使得线性表示后的变量能够取到最大的相关系数，因此CCA也可以理解为一种降维的方法。具体地，可以将其转化为一个最优化问题：
  

  
具体求解的方法则采用奇异值分解(SVD)的方法进行求解。
 
 
 

 
文章目录
 
一、引述
1.概念
2.何为两组变量呢？
3. 本文主要内容
  
二、典型相关分析
1. 基本思路
2. 基本思想
3. 基本思路
  
三、关键步骤（看不懂的话，可以先看四）
四、使用SPSS进行典型相关分析
1.导入数据
2. 检验数据类型
3. 对数据进行典型相关分析
4.导出分析结果
6.修改原文件中表格的名称
  
五、对结果进行分析
1.分析典型相关系数表
2. 分析标准化典型相关系数
3. 分析典型载荷
4. 分析已解释的方差比例
  
六、资料链接

 
一、引述
 
1.概念
 
典型相关分析用于研究两组变量（每组变量中都可能有多个指标）之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。
在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。然而，这些统计方法在研究两组变量之间的相关关系时却无能为力。比如要研究生理指标与训练指标的关系，居民生活环境与健康状况的关系，人口统计变量（户主年龄、家庭年收入、户主受教育程度）与消费变量（每年去餐馆就餐的频率、每年出外看电影的频率）之间是否具有相关关系 ？阅读能力变量（阅读速度、阅读才能）与数学运算能力变量（数学运算速度、数学运算才能）**是否相关？这些多变量间的相关性如何分析？
 
2.何为两组变量呢？
 
下图是测量的20名学生的生理指标与训练指标。第一组是生理指标变量，有体重、腰围和脉搏；第二组是训练指标变量，有引体向上次数、起坐次数和跳跃次数。要求测量生理指标与训练指标这两组变量之间的关系。
 
 在本题中，如果我们直接对这些变量（诸如体重、胸围等变量）的相关性进行两两分析，很难得到题干所要求的测量生理指标与训练指标这两组变量之间的关系。所以，我们引入一种新的分析方法：典型相关分析。
 
3. 本文主要内容
 
本文主要目的在于介绍典型相关分析的基本思想和解题步骤以及讲解如何使用SPSS24.0解决该类数学建模问题。
如果要进行论文写作，我们需要掌握典型相关分析的原理及方法。这一部分，我将在后面的专栏中结合相关获奖论文进行说明。
 
二、典型相关分析
 
1. 基本思路
 
在上例中，我们可以采用这样的解决思路：由于两组变量中都含有多个变量指标，每组变量中定然会有代表性的变量。这样，找到代表性的变量，我们便可以把 多个变量与多个变量之间的相关变成两个具有代表性的变量之间的相关 。
代表性变量：能较为综合、全面的衡量所在组的内在规律。
一组变量最简单的综合形式就是该组变量的线性组合。
 
2. 基本思想
 
典型相关分析由Hotelling提出，其基本思想和主成分分析非常相似。
 
首先在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数；
然后选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对。
如此继续下去，知道两组变量之间的相关性被提取完毕为止。
被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间的强度。
 
3. 基本思路
 
 
一般情况下，假设
 
 是两个相互关联的随机变量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的线性组合，即
 
 
 
当然，综合变量的组数是不确定的，如果第一组就能代表原样本数据大部分的信息，那么一组就足够了。如果第一组反映的信息不够，我们就需要找第二组数据。
 
 
为了让所找到的第二组数据的信息更加有效，我们需要保证第二组数据和第一组数据不相关，即
 
 
 
对于数学的部分，我就不再过多阐述（无力.jpg）。感兴趣的同学可以自行查找资料。上面一点便是我们所要达到的终极目的。
 
 
三、关键步骤（看不懂的话，可以先看四）
 
假设我们所研究的两组数据服从联合正态分布。
对这两组变量的相关性进行检验（构造似然比统计量）。 
  
H0：两组变量的协差阵为0（两组变量无关）；H1：两组变量的协差阵不为0（两组变量有关）
用于检验的似然比统计量
 
p值小于0.5（0.1）表示在95%（90%）的置信水平下拒绝原假设， 即认为两组变量有关。
 
确定典型相关变量的个数（直接看典型相关系数对应的p值即可）
利用标准化后的典型相关变量分析问题
 为了消除量纲和数量级别的影响，必须对数据先做标准化变换处理，然后再做典型相关分析。
进行典型载荷分析
计算前r个典型变量对样本总方差的贡献
 
四、使用SPSS进行典型相关分析
 
1.导入数据
 

 
 
 
2. 检验数据类型
 

 点击左下角的变量视图
 
 
 
3. 对数据进行典型相关分析
 

 
 按照题干要求将变量进行分组（按住ctrl，可以进行多个选中）
 
 之后便得到如下内容：
 
 
4.导出分析结果
 

 
 于是我们便在桌面上得到了该文件。
 
 
6.修改原文件中表格的名称
 
下面是刚打开的原文件表格名称
 
将文件中的表格进行重新命名，以免在后续的操作造成干扰。 
  
将所有的集合1修改成生理指标，集合2修改成训练指标。
修改表格名称：典型相关性 >>> 典型相关系数
修改表格内容：相关性 >>> 相关系数；显著性 >>> p值
 
 
 
 
 注：以上图片，便是我们在建模中经常使用的表格。
 
 
五、对结果进行分析
 
1.分析典型相关系数表
 
 
该表格的最后一列代表着检验统计量所对应的p值，我们需要通过它确定典型相关系数的个数。
我们知道置信水平有三个：90%、95%、99%，其对应的显著性水平分别为 0.1、0.05、0.01.
观察第一行的p值，我们发现 0.05 < 0.064 < 0.1. 因此，我们知道在95%的置信水平下，生理指标与训练指标之间不存在相关性；而在90%的置信水平下，生理指标与训练指标之间存在相关性，且第一对典型变量相关性显著。
我们接着观察后面两个p值：0.949和0.775。说明第二对和第三对典型变量相关性不显著。
由此我们可以确定典型相关系数的个数为1，即第一对典型变量的相关系数。
 
2. 分析标准化典型相关系数
 
 
在该分析中，我们需要写出标准化的典型变量，其个数要根据上一个分析结果所得到的典型相关系数的个数来确定。
 
 
在上一个分析结果中我们知道，我们知道我们只需要第一对典型变量的相关系数，因此我们可以将第二、三对的典型变量的相关系数删除。
 
 由此，可得到的标准化的第一对典型变量：
 
 其中， Zi(1)和Zj(2)分别为原始变量Xi和Yj标准化后的结果。
 
 
典型变量每个分量前面的系数代表着重要程度，可结合典型相关系数进行分析。
 
 
结论：
 
  
在生理指标中，由于X2（腰围）的绝对值最大，反映生理指标的典型变量主要由腰围决定；
在训练指标中，由于Y2（起坐次数）的绝对值最大，说明训练指标的典型变量主要由起坐次数所决定。
同时，由于两个典型变量中腰围和起坐次数的系数是异号的（腰围为负，起坐次数为正），反映腰围和起坐次数的负相关，即腰围越小则起坐次数越多。这和客观事实是相符的。
 
 
3. 分析典型载荷
 
说明：为了节省篇幅，在这里笔者只分析生理指标的典型载荷，读者可以模仿分析训练指标的典型载荷。
 
分析典型载荷的目的：进行典型载荷分析有助于更好解释分析已提取的p对典型变量。所谓的典型载荷分析是指原始变量与典型变量之间相关性分析。
 
分析结果
 以上结果说明生理指标的第一典型变量与体重的相关系数为-0.621，与腰围的相关系数为-0.925，与脉搏的相关系数为0.333. 从另一方面说明生理指标的第一对典型变量与体重、腰围负相关，而与脉搏正相关。其中与腰围的相关性最强。生理指标的第一对典型变量主要反映了体型的胖瘦。
 
4. 分析已解释的方差比例
 
分析目的
 在进行样本典型相关分析时，我们也想了解每组变量提取出的典型变量所能解释的该组样本总方差的比例，从而定量测度典型变量所包含的原始信息量的大小。
 
数据说明（从左到右） 
  
生理指标被自身的典型变量解释的方差比例；
生理指标被训练指标的典型变量解释的方差比例；
训练指标被自身的典型变量解释的方差比例；
训练指标被生理指标的典型变量解释的方差比例。
 
分析结果
 
生理指标样本方差由自身3个典型变量解释的方差比例分别为： 
  
第一典型变量解释的方差比例：0.451；
第二典型变量解释的方差比例：0.246，
第三典型变量解释的方差比例：0.302；
 
训练指标样本方差由自身3个典型变量解释的方差比例分别为： 
  
第一典型变量解释的方差比例：0.408；
第二典型变量解释的方差比例：0.434；
第三典型变量解释的方差比例：0.157；
 
 
六、资料链接
 
资料内容：health.xlsx
 链接：https://pan.baidu.com/s/1r3JujIEG3PCfc-K5WskAag
 提取码：3exf