http://www.datasoldier.net/post/44.html
 
 
 相关分析，两个变量之间密切程度的一种常见统计分析方法，能够简单有效说明两变量间存在什么关系，这些关系的常见描述语句有：线性相关、正相关、负相关等。
 
 
 【数据集说明】
 
 某公司员工的基本情况，数据集含3列，分别为：性别、年龄、工资，现在希望了解员工年龄和工资水平之间的关系（企业人事部门的读者可关心一下）。
 
 
  
 
 
 
 
 
  
 【SPSS相关分析过程】
 
 
 1、菜单操作：分析、相关、双变量
 
 
  
 
 
 

   
  
 
 
 
 
 2、结果
 
 
  
 
 
 相关分析的原假设是两两之间不相关，现在sig=0.002，原假设不可能发生，即得出年龄与工资水平有极显著的相关关系，且随着年龄的增加，工资会逐渐下降，老无所养吧。这个结论苍白无力，即使不用统计分析，看看身边的人其实也能想差不多明白。
 
 
 3、再提高一步
 
 
 在探索性数据分析阶段，分组对比分析非常重要，在分组变量的细分之下，往往能够发现意想不到的结论。我们讨论一下不同性别的员工，其年龄和工资的关系，男女在这方面有区别吗？
 
 
 （1）首先用性别变量将数据集拆分为男女两部分：数据，拆分文件
 
 
  
 
 
  
 
 
 
 （2）继续进行相关分析步骤，结果如下：
 
 
 
  
 
 
 可见，实际上是女性的年龄与工资水平有着极显著的负相关关系，而男性却不存在这样的关系，在实际工作生活当中，这个结论也基本符合实际。
 
 
 【相关分析可视化效果】
 
 
 表不如图，最能体现相关关系的图是散点图。
 
 
   
 
 
  
 
 通过散点图，可以在相关分析之前对两者之间的关系做一个相对比较直观的判断，如果得到相关分析的验证，效果更佳。
 
 
 总结语：
 
 1、相关分析属于数据分析流程前端的探索性分析，探究变量间关系及性质，其结果在于指导下一步采取何种方法，是数据挖掘之前的基础工作；
 
 2、两两之间有相关关系，但不一定是因果关系，也可能仅是伴随关系，反过来，两两之间存在因果关系，那么两者之间必然相关；
 
 3、相关分析之前，有必要搞清楚变量的类型，根据具体类型选择合适的相关系数。Pearson相关系数适用于两变量的度量水平都是尺度数据，并且两变量的总体是正态分布或者近似正态分布的情况，还有说法认为其样本量应大于30，可供参考，在这些条件之外的，考虑选择spearman系数或者kendall系数。
 
 4、分组对比分析是发现问题的好方法；
 
 5、散点图是相关分析的最直接有效的可视化方法。
 

 
 
先附上自己认为写的比较好的一篇博客。
 
https://www.cnblogs.com/duye/p/9384821.html
 
同时要指出自己博文的问题：对于Matlab中canoncorr中的stats参数结果并不是很清晰，自己统计不行。
 
典型相关分析
 
            不仅需要考虑两个变量之间的相关程度，而且还需要考察多个变量与多个变量之间的相关性。
 
            比若说工厂管理人员需要了解原料的主要质量指标X1,x2..Xp与产品的主要质量指标Y1，Y2，。。。Yp之间的相关性；又或者病人的一组体检化验指标与疾病之间的相关性
 
            典型相关分析就是度量两组变量之间相关程度的一种多元统计方法。
 
            是两个随机变量之间相关性在两组变量之下的推广。
 
 
 
基本原理
 
  对于两组随机变量（X1，X2,…,Xp）和（Y1,Y2,..,Yp），像主成分分析那样，考虑（X1，X2,…,Xp）的一个线性组合U及（Y1,Y2,..,Yp）的一个线性组合V,希望找到U和V之间的最大可能的相关系数，来充分反映两组变量之间的关系。这样就可以把研究两组随机变量间相关关系的问题转化为研究两个随机变量之间的相关关系。如果说一对变量（U,V）还不能完全刻画两组变量间的相关关系，可以继续找第二对变量，但是要保证第二对的变量与第一对的变量不相关，直至找不到相关变量时为止。
 
1.总体典型相关变量
 
 
一般地，若前k-1对典型变量还不足以反映X，Y之间的相关性，还可以构造第k对线性组合。
 
 
在约束条件
 
            Var(Uk)=var(Vk)=1;
 
Cov（Uk,Uj）=cov(Uk,Vj)=cov(Vk,Uj)=cov(Vk,Vj)=0(1<=j<k)
 
求得ak,bk时得p(Uk，vk)取得最大值。
 
2.总体典型变量与典型相关系数的计算方法。
 
 
 
 
 
 
 
5.3.2 样本的典型变量与典型相关系数
 
 在实际中，（X’,Y’）’的协方差矩阵 （或者相关系数矩阵R）一般是未知的，我们具有的资料通常是关于X和Y的n组观测数据。
 
和主成分分析一样，计算样本协方差矩阵作为 或者 的估计，
 
 
 
 
代替之后呢样本典型变量和典型相关系数计算方法同总体典型变量和典型相关洗漱袋额计算方法一样。
 
 
 
 
 
Matlab命令为 canoncorr，调用格式如下
 
[A,B,r,U,V,stats]=canoncorr(X,Y);
 
param:
 
　　x：原始变量x矩阵，每列一个自变量指标，第i列是 xi 的样本值
 
　　y：原始变量y矩阵，每列一个因变量指标，第j列是 yj 的样本值
 
return:
 
　　a：自变量x的典型相关变量系数矩阵，每列是一组系数。
 
      　　列数为典型相关变量数
 
　　b：因变量y的典型相关变量系数矩阵，每列是一个系数
 
　　r： 典型相关系数。即第一对<u1,v1>之间的相关系数、第二对<u2,v2>之间的相关系数…
 
　　u：对于X的典型相关变量的值
 
　　v：对于Y的典型相关变量的值
 
　　stats：假设检验的值<详细用一下就知道了>
 
例子
 
5.3.3 典型相关系数的显著性检验
 
典型相关分析是够恰当，取决于两组变量之间是否真正的相关，所以我们需要进行检验。
 
 
 
 
 
1.检验方法
 
大体的意思：先进行假设，原假设‘不能进行典型相关分析’，然后检验，一直到所有的(U,V)对才可以结束，检验的方法：似然比统计量。
 
 
 

 
文章目录
 
前言
一、算法原理
二、举个例子
三、CCA算法计算步骤
总结

 
 
前言
 
        典型相关分析（Canonical Correlation Analysis）是研究两组变量之间相关关系的一种多元统计方法，它能够揭示出两组变量之间的内在联系。
         在一元统计分析中，用相关系数来衡量两个随机变量的线性相关关系，用复相关系数研究一个随机变量与多个随机变量的线性相关关系。然而，这些方法均无法用于研究两组变量之间的相关关系，于是提出了CCA。
         其基本思想和主成分分析非常相似。首先，在每组变量中寻找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数；然后选取和已经挑选出的这对线性组合不相关的另一对线性组合，并使其相关系数最大，如此下去，直到两组变量的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。
 
一、算法原理
 
        设有两组随机变量X=(x1,x2,⋯,xp)′和Y=(y1,y2,⋯,yq)′，不妨设p≤q。设第一组变量均值为EX=μ1，方差为Var(X)=cov(X,X)=Σ11。第二组变量均值为EY=μ2，方差为Var(Y)=cov(Y,Y)=Σ22。第一组与第二组变量的协方差矩阵为cov(X,Y)=Σ12=Σ′21。
 分别对两组变量做线性组合，得式（1）、（2），如下：
 
 所以U,V的方差，协方差，相关系数为式（3）、（4）、（5）、（6），如下：：
 
 其中U,V称为典型变量，它们之间的相关系数ρ称为典型相关系数。
        CCA要解决的问题是，在所有线性组合U和V中选取典型相关系数最大的那对，即选取a(1),b(1)使U1=(a(1))′X与V1=(b(1))′Y之间的相关系数最大，这里(U1,V1)称为第一对典型相关变量；然后在选取a(2),b(2)使得U1=(a(2))′X,V2(b(2))′Y，在与U1,V1不相关的情况下，使得(U2,V2)的相关系数最大，称为第二对典型相关变量；如此继续下去，直到所有分别与(U1,V1),(U2,V2),⋯,(Up−1,Vp−1)都不相关的线性组合(Up,Vp)为止，此时p为X与Y之间的协方差矩阵的秩。
 由上面的分析可得模型，式（7）：
 
 由于收缩U和V的值并不会影响ρ，故我们可引入限制条件a′Σ11a=1,b′Σ22b=1将模型转化为式（8）：
 
 引入Lagrange乘子，得式（9）：
 
 对Lagrange函数求导得式（10）、（11）：
 
 将上两式分别左乘a′，左乘b′得：
 
 又因为(a′Σ12b)′=b′Σ21a⟹λa′Σ11a=νb′Σ22b。由限制条件知：λ=ν=ρ=a′Σ12b，即λ的值就是线性组合U和V的相关系数。我们重新将上式写成式（12）、（13）：
 
 然后左乘Σ12Σ−122得式（14）：
 
 结合式（12）得式（15）：
 
 同理，将式子（12）左乘Σ21Σ−111,并将式子（13）代入式子（12）得式（16）：
 
 将Σ−111左乘式子（15），Σ−122左乘式子（16）得式（17）：
 
 于是，λ2既是矩阵A也是矩阵B的特征值，a与b分别是对应的特征向量。所以我们的问题转化成求矩阵A,B的最大特征值对应的特征向量，而特征值的平方根√λ为相关系数，从而求出第一对典型相关变量。
 此时，我们可以得到如下的猜想：矩阵A,B的所有非零特征值的平方跟都会是其对应的典型相关系数。 见证明
 
二、举个例子
 
        典型相关性分析是用来探索两个多变量（向量）之间之间的关联关系的，这两个多变量来自于一个相同的个体。
 
        一般有两个典型的目的：
 
Data Reduction：用少量的线性组合来解释两组变量之间的相关作用。
Data Interpretation：寻找特征值，这些特征值对于解释两个变量集合之间的相互作用十分关键。
 
        举例来说，我们判定一个人解题能力X与他/她的阅读能力Y之间的关系。一方面，我们使用观察一个人的解题速度x1，解题正确率x2作为解题能力的指标；另一方面，我们观察一个人的阅读速度y1，理解程度y2作为阅读能力的指标。我们可以观察二者之间的关联关系。
 
        假设两组随机变量X=(x1,x2)′和Y=(y1,y2)′。设第一组变量均值为EX=μ1，方差为Var(X)=cov(X,X)=Σ11。第二组变量均值为EY=μ2，方差为Var(Y)=cov(Y,Y)=Σ22。第一组与第二组变量的协方差矩阵为cov(X,Y)=Σ12=Σ′21，而我们通过对样本计算协方差矩阵得到如下结果：
 
 
 
 
 
三、CCA算法计算步骤
 
由上述原理说明及实例展示，我们可以归纳得出CCA算法计算基本步骤如下：
 
 
计算X的方差Var(X)=cov(X,X)=Σ11, Y的方差Var(Y)=cov(Y,Y)=Σ22，X和Y的协方差cov(X,Y)=Σ12=Σ′21；
 
 
计算矩阵A:、B；
 
 
 
 
求A、B的特征值和特征向量a，b，并对A、B进行相应的向量化操作，求得满足a,b约束条件下的A’、B’；
 
 
根据上述步骤结果，求相关系数，并对此进行分析
 
 
总结
 
CCA(canonical correlation analysis)利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
典型相关分析的实质就是在两组随机变量中选取若干个有代表性的综合指标（变量的线性组合）, 用这些指标的相关关系来表示原来的两组变量的相关关系。这在两组变量的相关性分析中, 可以起到合理的简化变量的作用; 当典型相关系数足够大时, 可以像回归分析那样, 由- 组变量的数值预测另一组变量的线性组合的数值。
典型关联分析(Canonical Correlation Analysis，简称CCA)是最常用的挖掘数据关联关系的算法之一。
CCA算法广泛的应用于数据相关度的分析，同时还是偏最小二乘法的基础。但是由于它依赖于数据的线性表示，当我们的数据无法线性表示时，CCA就无法使用，此时我们可以利用核函数的思想，将数据映射到高维后，再利用CCA的思想降维到1维，求对应的相关系数和线性关系，这个算法一般称为KCCA。此外，在算法里只找了相关度最大的奇异值或者特征值，作为数据的相关系数，实际上我们也可以像PCA一样找出第二大奇异值，第三大奇异值，。。。得到第二相关系数和第三相关系数。然后对数据做进一步的相关性分析。但是一般的应用来说，找出第一相关系数就可以了。
 
 
 
本文参考来源：
 https://zhuanlan.zhihu.com/p/52110862      典型相关分析 （Canonical Correlation Analysis ，CCA）
 https://www.cnblogs.com/jerrylead/archive/2011/06/20/2085491.html      典型关联分析（Canonical Correlation Analysis）
 https://www.cnblogs.com/boostable/p/lec_canonical_correlation_analysis.html      典型相关分析
 https://blog.csdn.net/zyb228/article/details/107096880      CCA典型关联分析原理与Python案例
 https://blog.csdn.net/weixin_38208741/article/details/84271297      机器学习(32)之典型相关性分析(CCA)详解
 http://www.docin.com/p-619663847.html      CCA算法数学推导
 

偏最小二乘回归是PCA、CCA和传统最小二乘模型的结合。
 
一、PCA主成分分析：
 
1.我们希望对数据进行有损压缩，即将属于R^n的x投影为属于R^l的c，有编码函数f(x)=c，使得损失的信息尽量少。同时有对应的解码函数g(c)约等于x。
 
2.PCA由我们确定的解码函数而定，为了简化解码器，我们让g(c)=Dc，其中设D为一个属于R^(n*l)的矩阵，D可以有多个解，但我们假设D中的列向量都有单位范数，并限制D的列向量彼此正交（由于垂直的基更容易表示向量）。
 
3.假设我们现在已经找到了这个D，如何在给定x的情况下找到最优的编码c呢？方法是：选取使x-g(c)的二范数最小的c。x-g(c)的二范数可以进行如下变换。
 
（1）使得x-g(c)的二范数--等价于--使得二范数的平方最小（二范数非负）
 
（2）x-g(c)二范数的平方=(x-g(c))^T*(x-g(c))，根据矩阵运算的分配律和向量的xTy=yTx，矩阵的(AB)T=BTAT。上式最终变换为xTx-2xTg(c)+g(c)Tg(c)。第一项与c无关，去掉。
 
（3）.将g(c)=Dc代入，上式=-2(x’)Dc+c’D’Dc=-2(x’)Dc+c’c （因为设D有正交性和单位范数）。
 
（4）上式的对c求最小化，令上式的对c的偏导为0，推出c=D’x。由此我们知道了当D被确定后如何给定x求c。
 
4.现在挑选最优的D。考虑降到1维的情况，则选取的矩阵D为R^n的向量d，选取令sum(xi-dd’xi)的二范数的平方))最小（并满足d’d=1）的d，该最优化问题的矩阵形式为X-Xdd’的二范数的平方最小化，则
 
X-Xdd’的二范数=Tr[(X-Xdd’)’(X-Xdd’)]，
 
5.以上最优化问题变化为（简化过程使用Tr迹运算的定理，（1）Tr(A)=Tr(A^T)  (2)Tr(ABC)=Tr(CAB)=Tr(BCA)  (3)Tr(实数)=实数）求使得Tr(d’X’Xd)最大并满足d’d=1的向量d。
 
6.优化问题的最终形式使用特征分解来求解。最优的d是X‘X最大特征值对应的特征向量。以上为l=1时，选取特征值最大的向量，进行推广，则选取前l个最大的特征值对应的特征向量。以列为样本、行为属性的情况下，若零均值化，协方差矩阵即为(1/（m-1）)* X‘X。对其求前l个最大特征值对应的特征向量，并进行单位化，将他们一行行排起来，用数据矩阵左乘它就能得到降维后的数据矩阵（即C=D’X）。
 
7.使用：以行为样本为例，将原数据矩阵每个值减去该列的均值（零均值化），再计算数据集的协方差阵(1/m)* XX’，求出特征值和特征向量，将特征向量单位化，选取前k个最大的特征值对应的特征向量（k为需要的维度量，或按照k的选取选择1-前k个特征值总和占特征值总和的比例<=阈值（比如0.01）），按列排列，原零均值矩阵右乘该矩阵。
 
8.矩阵的对角化：将一个变换左乘一组向量的逆，右乘一组向量，就能将这个变换表示成以那组向量为基视角下的变换矩阵。如果这组向量选的是特征向量(当然前提是特征向量能张成空间)，那么就将那个变换变成对角矩阵了。所以矩阵能对角化的条件是有n个线性无关的特征向量，这样才有足够多的方向能用了选择作为对角化的视角。对于实特征阵，特征向量PCP‘=对角阵。
 
9.协方差阵的对角化，即P*(1/（m-1）)* XX’*P’=(1/（m-1）)*PX*(PX)’，即为根据特征向量进行变换后的矩阵的协方差阵，其中各方差由大到小排列（因为特征向量如此排列）在对角线上，协方差都为零（满足各特征独立/正交）。故成功将原数据转化。
 
10.其他降维方法总结：
 
（1）PCA。需要注意的是，新的主成分并不是由实际系统产生的，因此在进行PCA变换后会丧失数据的解释性。
 
（2）缺失值比例大于一个阈值的列去除。
 
（3）低方差滤波：方差小于一个阈值的列去除。
 
（4）高相关滤波：对归一化后的各列两两计算相关系数，大于一定阈值的删除其中一列。
 
（5）随机森林判别法：在随机森林中常被选作最佳分类标准的属性评分更高。
 
 
 
 
 
二、CCA典型相关分析：
 
1.典型相关性分析研究假如有一堆样本点，每个点的x是多维的，y也是多维的，如何研究x与y间的相关关系。CCA是这样做的，将x用a1权重向量变换为一维，y用b1权重向量变换，选取a1、b1的标准是使得变换后的一维特征x和y的相关系数最大化。
 
2.根据以上的思想，该问题可以转化为优化问题
 
使得a1’*变换前x的方差矩阵*a1=1，b1’*变换前y的方差矩阵*b1=1，
 
使得a1’*变换前协方差矩阵*b1最大
 
设lambda和v为拉格朗日乘数，使用拉格朗日乘数法推导该问题，结合上面的多维求导公式，得结论
 
（Lamda=v=变换后的相关系数（2）方1^-1*协方*方2^-1 *协方*a1=lambda^2*a1）
 
解式二的特征值问题，特征向量为a1。
 
3.CCA主要在多视图学习的特征融合方面有着广泛的应用，比如两张图片，一张正脸，一张侧脸，我们需要做一个人脸识别系统，就需要对其进行双视图学习，我想如果我们把这两张图结合在一起识别率一定会提高的，我们就需要用到CCA。
 
 
 
三、PLSR偏最小二乘回归
 
步骤：
 
1.先对多维的x和y进行标准化，设权重向量w1和v1，将原来的x和y变换为一维特征t1和u1，权重选取的目标是使得变换后两个特征自身方差极大化且互相之间相关系数极大化。该问题可转化为问题：使得w1’X‘Yv1最大并使得w1、v1二范数平方=1。求解该问题，非常类似上面的CCA求解，最后解特征向量求得t1、u1。
 
2.建立回归模型X0=t1alfa1+X1,X1为残差矩阵（Y也建立相同模型，自变量为t1）。Alfa1是参数向量。根据最小二乘估计解得alfa1=t1‘X0/t1二范数的平方，beta1将X0换Y0.
 
3.估计出权重后计算残差的范数，未小于阈值则将残差矩阵看作X和Y重复以上步骤。
 
4.最后的预测模型将所有式子一起代入，可求出通过多维X算出多维Y的式子。