精华内容
下载资源
问答
  • 典型相关分析python
    2021-01-14 10:02:56

    1 关键点:典型相关分析

    典型相关分析是用于分析两组随机变量之间的相关程度的一种统计方法,它能够有效地揭示两组随机变量之间的相互(线性依赖)关系

    例如 研究生入学考试成绩与本科阶段一些主要课程成绩的相关性

    将研究两组变量的相关性问题转化为研究两个变量的相关性问题

    此类相关为典型相关#

    2 分类:

    总体典型相关

    样本典型相关

    3 R语言提供的计算函数:

    典型相关计算

    cancor(x,y,xcenter=TRUE,ycenter=TRUE)

    x,y是相应的数据矩阵 xcenter,ycenter是逻辑变量

    TRUE是将数据中心化 FALSE是不中心化

    4 分析结果含义

    cor是典型相关系数

    xcoef是对应于数据x的系数 又称关于数据x的典型载荷即样本典型变量U系数矩阵A的转置

    xcenter是数据X的中心 即数据X的样本均值

    y是对应于数据x的系数 又称关于数据y的典型载荷即样本典型变量V系数矩阵B的转置

    ycenter是数据Y的中心 即数据Y的样本均值

    5 分析步骤

    (1.)载入原始数据 data.frame

    (2.)原始数据标准化 scale

    (3.)典型相关分析 cancor

    (4.)相关系数显著性检验 corcoef.test.R

    I.典型相关分析的计算

    现对20名中年人测得三个生理指标:体重(X1) 腰围(X2)

    脉搏(X3);三个训练指标:引体向上(Y1) 起座次数(Y2) 跳跃次数(Y3) 试分析这组数据的相关性

    #用数据框的形式输入数据矩阵

    test

    X1=c(191, 193, 189, 211, 176, 169, 154, 193,

    176, 156,

    189, 162, 182, 167, 154, 166, 247, 202, 157, 138),

    X2=c(36, 38, 35, 38, 31, 34, 34, 36, 37,

    33,

    37, 35, 36, 34, 33, 33, 46, 37, 32, 33),

    X3=c(50, 58, 46, 56, 74, 50, 64, 46, 54,

    54,

    52, 62, 56, 60, 56, 52, 50, 62, 52, 68),

    Y1=c( 5, 12, 13, 8, 15, 17,

    14, 6, 4, 15,

    2, 12, 4, 6, 17,

    13, 1, 12, 11, 2),

    Y2=c(162, 101, 155, 101, 200, 120,

    215, 70, 60, 225,

    110, 105, 101, 125, 251, 210, 50, 210, 230,

    110),

    Y3=c(60, 101, 58, 38, 40, 38, 105, 31, 25,

    73,

    60, 37, 42, 40, 250, 115, 50, 120, 80, 43)

    )

    #为了消除数量级的影响 将数据标准化处理 调用scale函数

    test

    #对标准化的数据做典型相关分析

    ca

    #查看分析结果

    ca

    结果说明:

    1) cor给出了典型相关系数;xcoef是对应于数据X的系数,

    即为关于数据X的典型载荷; ycoef为关于数据Y的典型载荷;xcenter与$ycenter是数据X与Y的中心,

    即样本均值;

    2) 对于该问题, 第一对典型变量的表达式为

    U1 = -0.17788841x1 0.36232695x2 - 0.01356309x3

    U2 = -0.43230348x1 0.27085764x2 - 0.05301954x3

    U3 = -0.04381432x1 0.11608883x2 0.24106633x3

    V1 = -0.08018009y1 - 0.24180670y2 0.16435956y3

    V2 = -0.08615561y1 0.02833066y2 0.24367781y3

    V3 = -0.29745900y1 0.28373986y2 - 0.09608099y3

    相应的相关系数为:p(U1,V1)=0.79560815

    ,p(U2,V2)=0.20055604 ,p(U3,V3)=0.07257029

    可以进行典型相关系数的显著性检验, 经检验也只有第一组典型变量.

    下面计算样本数据在典型变量下的得分:

    #计算数据在典型变量下的得分 U=AX V=BY

    U

    V

    #调整图形

    opar

    #画出以相关变量U1、V1和U3、V3为坐标的数据散点图

    plot(U[,1], V[,1], xlab="U1", ylab="V1")

    plot(U[,3], V[,3], xlab="U3", ylab="V3")

    #调整图形

    par(opar)

    由散点图可知

    第一典型相关变量分布在一条直线附近;第三典型相关变量数据很分散。因为第一典型变量其相关系数为0.79560815,接近1,所以在一直线附近;第三典型变量的相关系数是0.07257029,接近于0,所以很分散。

    II.典型相关系数的显著性检验

    作为相关分析的目的

    就是选择多少对典型变量?因此需要做典型相关系数的显著性检验。若认为相关系数k为0 就没有必要考虑第k对典型变量了

    #相关系数检验R程序

    corcoef.test

    #r为相关系数 n为样本个数

    且n>p q

    m

    Q

    for (k in m:1){

    #检验统计量

    lambda

    #检验统计量取对数

    Q[k]

    s

    i

    for (k in 1:m){

    #统计量  Q[k]

    chi

    if (chi>alpha){

    i

    }

    s

    }

    #显示输出结果 选用第几对典型变量

    i

    }

    source("corcoef.test.R")

    #输入相关系数r,样本个数n,两个随机向量的维数p和q,置信水平a(缺省值为0.1)

    corcoef.test(r=ca$cor,n=20,p=3,q=3)

    #程序输出值为典型变量的对数

    最终程序运行结果显示选择第一对典型相关变量。我们只利用第一典型变量分析问题,达到降维的目的。

    write.csv(test,"test_test.csv")

    更多相关内容
  • 典型相关分析matlab实现代码 title tags description Python / Python3 教学 Templates, Talk View the slide with "Slide Mode". Python / Python3 教学 首先,我们需要认识python的基本语法。 注意Python中默认的...
  • 典型相关分析matlab实现代码 python ======== python资源集合,持续更新。。。 。 目录 ======== 具体内容 ============================= ======== 网页框架 Django - Django。 - Channels旨在增强Django的异步能力...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 开源系统,...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 说明:最近有很多想学习Python的小伙伴申请单独加我微信和QQ,因为我自己平时也很忙,没办法一一解答大家的问题,我创建了Python100天学习交流2...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,适合非专业人士 开源系统,拥有强大的生态圈 ...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 开源系统,...
  • 典型相关分析 基本原理 从字面意义上理解CCA,我们可以知道,简单说来就是对不同变量之间做相关分析。较为专业的说就是,一种度量两组变量之间相关程度的多元统计方法。 关于相似性度量距离问题,在这里有一篇Blog...

    随着对CCA的深入研究,是时候对CCA进行一下总结了。

    本菜鸡主要研究方向为故障诊断,故会带着从应用角度进行理解。


    典型相关分析

    基本原理

    从字面意义上理解CCA,我们可以知道,简单说来就是对不同变量之间做相关分析。较为专业的说就是,一种度量两组变量之间相关程度的多元统计方法

    关于相似性度量距离问题,在这里有一篇Blog可以参考参考。

    首先,从基本的入手。

    当我们需要对两个变量 X , Y X,Y XY进行相关关系分析时,则常常会用到相关系数来反映。学过概率统计的小伙伴应该都知道的吧。还是解释一下。

    相关系数:是一种用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算,同样以两变量与各自平均值的离差为基础,通过两个离差相乘来反映两变量之间相关程度;着重研究线性的单相关系数。
    R ( X , Y ) = Cov ⁡ ( X , Y ) Var ⁡ [ X ] Var ⁡ [ Y ] R(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}} R(X,Y)=Var[X]Var[Y] Cov(X,Y)
    其中, C o v ( X , Y ) Cov(X,Y) Cov(X,Y)表示 X , Y X,Y X,Y的协方差矩阵, V a r [ X ] Var[X] Var[X] X X X的方差, V a r [ Y ] Var[Y] Var[Y] Y Y Y的方差.

    复习了一下大学本科概率统计知识,那么,如果我们需要分析的对象是两组或者多组向量,又该怎么做呢?

    CCA的数学表达

    这里举例两组变量 A ( a 1 , a 2 , . . . , a n ) , B ( b 1 , b 2 , . . . , b m ) A(a_1,a_2,...,a_n),B(b_1,b_2,...,b_m) A(a1,a2,...,an),B(b1,b2,...,bm),那么我们的公式会是这样:
    R ( X i , Y j ) = ∑ i = 1 , j = 1 n , m C o v ( X i , Y j ) V a r [ X i ] V a r [ Y j ] R(X_i,Y_j)=\sum_{i=1,j=1}^{n,m} \frac{Cov(X_i,Y_j)}{\sqrt{Var[X_i]Var[Y_j]}} R(Xi,Yj)=i=1,j=1n,mVar[Xi]Var[Yj] Cov(Xi,Yj)
    我们会得到一个这样的矩阵:
    [ R ( X 1 , Y 1 ) . . . R ( X 1 , Y m − 1 ) R ( X 1 , Y m ) R ( X 2 , Y 1 ) . . . R ( X 2 , Y m − 1 ) R ( X 2 , Y m ) . . . . . . . . . . . . R ( X n , Y 1 ) . . . . . . R ( X n , Y m ) ] \begin{bmatrix} R(X_1,Y_1) &... & R(X_1,Y_{m-1}) & R(X_1,Y_m)\\R(X_2,Y_1) & ...& R(X_2,Y_{m-1})& R(X_2,Y_m)\\ ...& ...& ...&... \\ R(X_n,Y_1) & ...& ...&R(X_n,Y_m) \end{bmatrix} R(X1,Y1)R(X2,Y1)...R(Xn,Y1)............R(X1,Ym1)R(X2,Ym1)......R(X1,Ym)R(X2,Ym)...R(Xn,Ym)

    这样的话,我们把每个变量的相关系数都求了出来,不知道会不会和我一样觉得这样很繁琐呢。如果我们能找到两组变量之间的各自的线性组合,那么我们就只分析讨论线性组合之间的相关分析。

    典型相关系数:是先对原来各组变量进行主成分分析,得到新的线性关系的综合指标,再通过综合指标之间的线性相关系数来研究原各组变量间相关关系。

    现在我们利用主成分分析(PCA)的思想,可以把多个变量与多个变量之间的相关转化成两个变量之间的相关。

    先得到两组变量 ( A T , B T ) (A^T,B^T) (AT,BT)的协方差矩阵
    Σ = [ Σ 11   Σ 12 Σ 21   Σ 22 ] \Sigma=\left[\begin{array}{l} \Sigma_{11} \ \Sigma_{12} \\ \Sigma_{21} \ \Sigma_{22} \end{array}\right] Σ=[Σ11 Σ12Σ21 Σ22]
    其中, Σ 11 = C o v ( A ) , Σ 22 = C o v ( B ) , Σ 12 = Σ 12 T = C o v ( A , B ) \Sigma_{11} = Cov(A),\Sigma_{22} = Cov(B),\Sigma_{12}=\Sigma_{12}^T = Cov(A,B) Σ11=Cov(A),Σ22=Cov(B),Σ12=Σ12T=Cov(A,B).

    把上面两组变量 A ( a 1 , a 2 , . . . , a n ) , B ( b 1 , b 2 , . . . , b m ) A(a_1,a_2,...,a_n),B(b_1,b_2,...,b_m) A(a1,a2,...,an),B(b1,b2,...,bm)分别组合成两个变量U、V,则用线性表示
    U = t 1 a 1 + t 2 a 2 + . . . + t n a n , V = h 1 b 1 + h 2 b 2 + . . . + h m b m \begin{matrix} U=t_1a_1+t_2a_2+...+t_na_n,\\ \\V=h_1b_1+h_2b_2+...+h_mb_m \end{matrix} U=t1a1+t2a2+...+tnan,V=h1b1+h2b2+...+hmbm

    然后,找出最大可能的相关系数 t k = ( t 1 , t 2 , . . . , t n ) T , h k = ( h 1 , h 2 , . . . , h m ) T {t_k}=(t_1,t_2,...,t_n)^T,{h_k}=(h_1,h_2,...,h_m)^T tk=(t1,t2,...,tn)T,hk=(h1,h2,...,hm)T,

    使得, R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max,这样,就得到了典型相关系数;而其中的 U , V U,V U,V典型相关变量

    典型相关分析最朴素的思想:首先分别在每组变量中找出第一对典型变量,使其具有最大相关性,然后在每组变量中找出第二对典型变量,使其分别与本组内的第一对典型变量不相关,第二对本身具有次大的相关性。如此下去,直到进行到K步,两组变量的相关系被提取完为止,可以得到K组变量。

    So

    注意:此时的 ( U , V ) (U,V) (U,V)若不能反映两组变量之间的相关关系,我们需要继续构造下一组关系变量来表示,具体可构造 K K K这样的关系

    直到 R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max为止
    U k = t k T A = t 1 k a 1 + t 2 k a 2 + . . . + t n k a n V k = h k T B = h 1 k b 1 + h 2 k b 2 + . . . + h m k b m \begin{matrix} U_k={t_k^T}{A}=t_{1k}a_1+t_{2k}a_2+...+t_{nk}a_n\\ \\ V_k={h_k^T}{B}=h_{1k}b_1+h_{2k}b_2+...+h_{mk}b_m \end{matrix} Uk=tkTA=t1ka1+t2ka2+...+tnkanVk=hkTB=h1kb1+h2kb2+...+hmkbm

    其中,我们需要一个约束条件满足,使得 R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max

    V a r ( U k ) = V a r ( t k T A ) = t k T Σ 11 t k = 1 V a r ( V k ) = V a r ( h k T A ) = h k T Σ 22 h k = 1 C o v ( U k , U i ) = C o v ( U k , V i ) = C o v ( V i , U k ) = C o v ( V k , V i ) = 0 ( 1 < = i < k ) \begin{matrix} Var(U_k)=Var({t_k^T}{A})={t_k^T}\Sigma_{11}t_k=1\\ \\ Var(V_k)=Var({h_k^T}{A})={h_k^T}\Sigma_{22}h_k=1\\ \\ Cov(U_k,U_i)=Cov(U_k,V_i)=Cov(V_i,U_k)=Cov(V_k,V_i)=0(1<=i<k) \end{matrix} Var(Uk)=Var(tkTA)=tkTΣ11tk=1Var(Vk)=Var(hkTA)=hkTΣ22hk=1CovUk,Ui=Cov(Uk,Vi)=Cov(Vi,Uk)=Cov(Vk,Vi)=0(1<=i<k)
    典型相关系数公式 R ( U , V ) R_{(U,V)} R(U,V)
    R ( U , V ) = Cov ⁡ ( U , V ) Var ⁡ [ U ] Var ⁡ [ V ] = C o v ( U , V ) = t k T C o v ( A , B ) h k = t k T Σ 12 h k R_{(U,V)}=\frac{\operatorname{Cov}(U, V)}{\sqrt{\operatorname{Var}[U] \operatorname{Var}[V]}}=Cov(U,V)={t_k}^TCov(A,B)h_k={t_k}^T\Sigma_{12} h_k R(U,V)=Var[U]Var[V] Cov(U,V)=Cov(U,V)=tkTCov(A,B)hk=tkTΣ12hk

    在此约束条件下, t k , h k t_k,h_k tk,hk系数得到最大,则使得 R ( U , V ) R_{(U,V)} R(U,V)最大

    典型相关系数及变量的求法

    下面一起来求 t 1 , h 1 t_1,h_1 t1,h1(这里只例举第一典型相关系数)

    (一起来复习高数–拉格朗日乘数法

    前提条件,我们有个计算公式,约束条件也有了,故这是一个求解条件极值题呀!!!

    列出我们的拉格朗日函数:
    ϕ ( t 1 , h 1 ) = t 1 T Σ 12 h 1 − λ 2 ( t 1 T Σ 11 t 1 − 1 ) − v 2 ( h 1 T Σ 22 h 1 − 1 ) \phi\left(t_{1}, h_{1}\right)=t_{1}^T \Sigma_{12} h_{1}-\frac{\lambda}{2}\left(t_{1}^T \Sigma_{11} t_{1}-1\right)-\frac{v}{2}\left(h_{1}^T \Sigma_{22} h_{1}-1\right) ϕ(t1,h1)=t1TΣ12h12λ(t1TΣ11t11)2v(h1TΣ22h11)
    其中, λ , v \lambda,v λ,v表示拉格朗日乘子参数。

    由上述典型相关系数公式 R ( U , V ) R_{(U,V)} R(U,V)可知,我们只需求其系数 t 1 , h 1 t_1,h_1 t1,h1的最大值,即可

    ϕ ( t 1 , h 1 ) \phi(t_1,h_1) ϕ(t1,h1)做一阶偏导运算:
    { ∂ ϕ ∂ t 1 = ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∂ ϕ ∂ h 1 = ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \frac{\partial \phi}{\partial t_{1}}=\sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \frac{\partial \phi}{\partial h_{1}}=\sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. t1ϕ=12h1λ11t1=0h1ϕ=21t1v22h1=0
    也就是
    { ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. 12h1λ11t1=021t1v22h1=0
    将上式分别左乘 t 1 , h 1 t_1,h_1 t1,h1得,
    {   t 1 Σ 12 h 1 − λ t 1 Σ 11 t 1 = 0   h 1 Σ 21 t 1 − v h 1 Σ 22 h 1 = 0 \left\{\begin{array}{l} \ t_{1}\Sigma_{12} h_{1}-\lambda t_{1}\Sigma_{11} t_{1}=0 \\ \\ \ h_{1}\Sigma_{21} t_{1}-v h_{1} \Sigma_{22} h_{1}=0 \end{array}\right.  t1Σ12h1λt1Σ11t1=0 h1Σ21t1vh1Σ22h1=0
    由于约束条件可知 V a r ( U 1 ) = V a r ( V 1 ) = 1 Var(U_1)=Var(V_1)=1 Var(U1)=Var(V1)=1,解得,
    {   t 1 Σ 12 h 1 = λ   h 1 Σ 21 t 1 = v \left\{\begin{array}{l} \ t_{1}\Sigma_{12} h_{1}=\lambda \\ \\ \ h_{1}\Sigma_{21} t_{1} =v \end{array}\right.  t1Σ12h1=λ h1Σ21t1=v
    此时,我们来对比一下上面列出的求解 R ( U , V ) R_{(U,V)} R(U,V)公式,有没有,是不是,一模一样,我们的拉格朗日乘子 λ , v = t 1 Σ 12 h 1 = R ( U , V ) \lambda,v=t_{1}\Sigma_{12} h_{1}=R_{(U,V)} λ,v=t1Σ12h1=R(U,V),也就是说, λ , v \lambda,v λ,v即为我们要求解的典型相关系数

    我们由式 { ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. 12h1λ11t1=021t1v22h1=0,可得
    λ t 1 = Σ 11 − 1 Σ 12 h 1 \lambda t_1 = \Sigma _{11}^{-1}\Sigma_{12} h_{1} λt1=Σ111Σ12h1
    由于 λ = v \lambda=v λ=v,再将此代入 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \sum_{21} t_{1}-v \sum_{22} h_{1}=0 21t1v22h1=0中,可得
    Σ 12 Σ 22 − 1 Σ 21 t 1 − λ 2 Σ 11 t 1 = 0 Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 t 1 − λ 2 t 1 = 0 \begin{array}{l} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} t_{1}-\lambda^{2} \Sigma_{11} t_{1}=0 \\ \\ \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} t_{1}-\lambda^{2} t_{1}=0 \end{array} Σ12Σ221Σ21t1λ2Σ11t1=0Σ111Σ12Σ221Σ21t1λ2t1=0
    上面的式子是不是很熟悉 A X = λ X AX=\lambda X AX=λX,

    Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 = A t 1 = X λ = λ 2 \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} = A \\ t_1=X \\ \lambda=\lambda^2 Σ111Σ12Σ221Σ21=At1=Xλ=λ2
    故, Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} Σ111Σ12Σ221Σ21的特征值为 λ 2 \lambda^2 λ2,特征向量为 t 1 t_1 t1

    到此,我们可求得相应的 t 1 , h 1 t_1,h_1 t1,h1 R ( U , V ) R_{(U,V)} R(U,V)


    典型相关分析应用

    基于 CCA 的故障检测方法

    对于CCA应用在故障检测中,基于 CCA 的故障检测方法可以视为基于 PCA 和基于 PLS 故障检测方法的一种扩展。

    基本思想:是利用典型相关关系构建一个残差发生器, 通过对残差信号的评价做出故障检测的相应决策。该方法中提出了 4 个统计量, 将输入空间分为两个部分, 即与输出空间相关的子空间和与输出空间不相关的子空间;同理,将输出空间分为两个部分, 即与输入空间相关的子空间和与输入空间不相关的子空间。

    u o b s ∈ R l u_{obs}∈R^l uobsl y o b s ∈ R m y_{obs}∈R^m yobsm表示测量的过程输入和输出向量, l l l m m m分别表示相应的数据维数。对两个向量进行去均值, 可得

    u = u o b s − μ u (1) \boldsymbol{u} = \boldsymbol{u}_{\mathrm{obs}}-\boldsymbol{\mu}_{u} \tag{1} u=uobsμu(1)
    y = y o b s − μ y (2) \boldsymbol{y} = \boldsymbol{y}_{\mathrm{obs}}-\boldsymbol{\mu}_{y} \tag{2} y=yobsμy(2)
    式中: μ u μ_u μu μ y μ_y μy分别表示输入变量均值和输出变量均值。假设采样得到 N 个过程数据, 并组成如下输入输出数据集

    U = [ u ( 1 ) , u ( 2 ) , ⋯   , u ( N ) ] ∈ R l × N , Y = [ y ( 1 ) , y ( 2 ) , ⋯   , y ( N ) ] ∈ R m × N \boldsymbol{U}=[\boldsymbol{u}(1), \boldsymbol{u}(2), \cdots, \boldsymbol{u}(N)] \in \mathbf{R}^{l \times N}, \boldsymbol{Y}=[\boldsymbol{y}(1), \boldsymbol{y}(2), \cdots, \boldsymbol{y}(N)] \in \mathbf{R}^{m \times N} U=[u(1),u(2),,u(N)]Rl×N,Y=[y(1),y(2),,y(N)]Rm×N
    式中: u ( i ) , y ( i ) , ( i = 1 , … , N ) u(i), y(i) , (i = 1, …, N) u(i)y(i)(i=1N)是按式(1)(2)中心化后的输入输出向量, 相应的平均值
    μ u ≈ 1 N ∑ i = 1 N u o b s ( i ) , μ y ≈ 1 N ∑ i = 1 N y o b s ( i ) , \boldsymbol{\mu}_{u} \approx \frac{1}{N} \sum_{i=1}^{N} \boldsymbol{u}_{\mathrm{obs}}(i), \boldsymbol{\mu}_{y} \approx \frac{1}{N} \sum_{i=1}^{N} \boldsymbol{y}_{\mathrm{obs}}(i), μuN1i=1Nuobs(i),μyN1i=1Nyobs(i),

    并且, 协方差矩阵 Σ u 、 Σ y Σ_u、 Σ_y ΣuΣy和输入输出的互协方差矩阵 Σ u y Σ_{uy} Σuy分别为:
    Σ u ≈ 1 N − 1 ∑ i = 1 N ( u o b s ( i ) − μ u ) ( u o b s ( i ) − μ u ) T = U U T N − 1 (3) \boldsymbol{\Sigma}_{u} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)^{\mathrm{T}}=\frac{\boldsymbol{U} \boldsymbol{U}^{\mathrm{T}}}{N-1}\tag{3} ΣuN11i=1N(uobs(i)μu)(uobs(i)μu)T=N1UUT(3)
    Σ y ≈ 1 N − 1 ∑ i = 1 N ( y o b s ( i ) − μ y ) ( y o b s ( i ) − μ y ) T = Y Y T N − 1 (4) \boldsymbol{\Sigma}_{y} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)^{\mathrm{T}}=\frac{\boldsymbol{Y} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\tag{4} ΣyN11i=1N(yobs(i)μy)(yobs(i)μy)T=N1YYT(4)
    Σ u y ≈ 1 N − 1 ∑ i = 1 N ( u o b s ( i ) − μ u ) ( y o b s ( i ) − μ y ) T = U Y T N − 1 (5) \boldsymbol{\Sigma}_{u y} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)^{\mathrm{T}}=\frac{\boldsymbol{U} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\tag{5} ΣuyN11i=1N(uobs(i)μu)(yobs(i)μy)T=N1UYT(5)
    结合 CCA 方法, 可得:
    ( U U T N − 1 ) − 1 / 2 ( U Y T N − 1 ) ( Y Y T N − 1 ) − 1 / 2 = Σ u − 1 / 2 Σ u y Σ y − 1 / 2 = Γ s Σ Ψ s T , Σ = [ Λ κ 0 0 0 ] (6) \left(\frac{\boldsymbol{U} \boldsymbol{U}^{\mathrm{T}}}{N-1}\right)^{-1 / 2}\left(\frac{\boldsymbol{U} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\right)\left(\frac{\boldsymbol{Y} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\right)^{-1 / 2}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Sigma}_{u y} \boldsymbol{\Sigma}_{y}^{-1 / 2}=\boldsymbol{\Gamma}_{s} \boldsymbol{\Sigma} \boldsymbol{\Psi}_{s}^{\mathrm{T}}, \boldsymbol{\Sigma}=\left[\begin{array}{ll} \boldsymbol{\Lambda}_{\kappa} & 0 \\ 0 & 0 \end{array}\right]\tag{6} (N1UUT)1/2(N1UYT)(N1YYT)1/2=Σu1/2ΣuyΣy1/2=ΓsΣΨsT,Σ=[Λκ000](6)
    式中: κ 为主元个数, κ ≤ m i n ( l , m ) ; Σ κ = d i a g ( ρ 1 , … , ρ κ ) κ ≤ min(l,m); Σ_κ= diag(ρ1, …, ρκ) κmin(lm);Σκ=diag(ρ1ρκ)为典型相关系数值。
    J s = Σ u − 1 / 2 Γ ( : , 1 : κ ) , L s = Σ y − 1 / 2 Ψ ( : , 1 : κ ) , J r e s = Σ u − 1 / 2 Γ ( : , κ + 1 : l ) , L r e s = Σ y − 1 / 2 Ψ ( : , κ + 1 : m ) \boldsymbol{J}_{s}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Gamma}(:, 1: \kappa), \boldsymbol{L}_{s}=\boldsymbol{\Sigma}_{y}^{-1 / 2} \boldsymbol{\Psi}(:, 1: \kappa), \boldsymbol{J}_{\mathrm{res}}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Gamma}(:, \kappa+1: l), \boldsymbol{L}_{\mathrm{res}}=\boldsymbol{\Sigma}_{y}^{-1 / 2} \boldsymbol{\Psi}(:, \kappa+1: m) Js=Σu1/2Γ(:,1:κ),Ls=Σy1/2Ψ(:,1:κ),Jres=Σu1/2Γ(:,κ+1:l),Lres=Σy1/2Ψ(:,κ+1:m),

    由 CCA 方法可知, J s T u J^T_su JsTu L s T y L^T_sy LsTy具有密切的相关性。

    但是在实际系统中, 测量变量难免受到噪声影响, 两者之间的相关性可表示为:
    L s T y ( k ) = Λ κ T J s T u ( k ) + v s ( k ) (7) \boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)=\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)+\boldsymbol{v}_{s}(k)\tag{7} LsTy(k)=ΛκTJsTu(k)+vs(k)(7)
    式中: v s v_s vs为噪声项, 并且与 J s T u J^T_su JsTu弱相关。基于此, 残差向量
    r 1 ( k ) = L s T y ( k ) − Λ κ T J s T u ( k ) (8) \boldsymbol{r}_{1}(k)=\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)\tag{8} r1(k)=LsTy(k)ΛκTJsTu(k)(8)

    其中的 Λ κ T {\Lambda}_{\kappa}^{\mathrm{T}} ΛκT为系数矩阵,上面介绍了CCA的数学运算,这里应该能理解,只不过多加了一个噪声向量。

    假设输入输出数据服从高斯分布。已知线性变换不改变随机变量的分布, 所以残差信号 r 1 r_1 r1也服
    从高斯分布, 其协方差矩阵:
    Σ r 1 = 1 N − 1 ( L s T Y − Λ κ T J s T U ) ( L s T Y − Λ κ T J s T U ) T = I κ − Λ κ 2 N − 1 (9) \boldsymbol{\Sigma}_{r_1}=\frac{1}{N-1}\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)^{\mathrm{T}}=\frac{\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}}{N-1}{ }^{}\tag{9} Σr1=N11(LsTYΛκTJsTU)(LsTYΛκTJsTU)T=N1IκΛκ2(9)
    同理, 还可以得到另一残差向量
    r 2 ( k ) = L s T y ( k ) − Λ κ T J s T u ( k ) (10) \boldsymbol{r}_{2}(k)=\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)\tag{10} r2(k)=LsTy(k)ΛκTJsTu(k)(10)
    其协方差矩阵
    Σ r 2 = 1 N − 1 ( L s T Y − Λ κ T J s T U ) ( L s T Y − Λ κ T J s T U ) T = I κ − Λ κ 2 N − 1 (11) \boldsymbol{\Sigma}_{r_2}=\frac{1}{N-1}\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)^{\mathrm{T}}=\frac{\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}}{N-1}{ }^{}\tag{11} Σr2=N11(LsTYΛκTJsTU)(LsTYΛκTJsTU)T=N1IκΛκ2(11)
    由式(9)(11) 可以看出, 残差 r1和 r2的协方差相同。 对于故障检测, 可构造如下两个统计量:
    T 1 2 ( k ) = ( N − 1 ) r 1 T ( k ) ( I κ − Λ κ 2 ) − 1 r 1 ( k ) (12) T_{1}^{2}(k)=(N-1) \boldsymbol{r}_{1}^{\mathrm{T}}(k)\left(\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}\right)^{-1} \boldsymbol{r}_{1}(k)\tag{12} T12(k)=(N1)r1T(k)(IκΛκ2)1r1(k)(12)
    T 2 2 ( k ) = ( N − 1 ) r 2 T ( k ) ( I κ − Λ κ 2 ) − 1 r 2 ( k ) (13) T_{2}^{2}(k)=(N-1) \boldsymbol{r}_{2}^{\mathrm{T}}(k)\left(\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}\right)^{-1} \boldsymbol{r}_{2}(k)\tag{13} T22(k)=(N1)r2T(k)(IκΛκ2)1r2(k)(13)
    注意到统计量 T 1 2 T^2_1 T12用于检测发生在输出子空间且输入相关的那部分故障, 为了检测与输入不相关的那部分故障, 可构造一个统计量
    T 3 2 = y T L r e s L r e s T y (14) T_{3}^{2}=\boldsymbol{y}^{\mathrm{T}} \boldsymbol{L}_{\mathrm{res}} \boldsymbol{L}_{\mathrm{res}}^{\mathrm{T}} \boldsymbol{y}\tag{14} T32=yTLresLresTy(14)
    同理, 为了检测发生在输入空间且与输出不相关的那部分故障, 可构造另一统计量
    T 4 2 = u T L r e s L r e s T u (15) T_{4}^{2}=\boldsymbol{u}^{\mathrm{T}} \boldsymbol{L}_{\mathrm{res}} \boldsymbol{L}_{\mathrm{res}}^{\mathrm{T}} \boldsymbol{u}\tag{15} T42=uTLresLresTu(15)
    由以上分析可知, 通过确定主元个数 κ, 可以得到4 个统计量 T 1 2 T^2_1 T12 T 2 2 T^2_2 T22 T 3 2 T^2_3 T32 T 4 2 T^2_4 T42进行故障检测。

    关于过程故障监控的统计量 T 2 T^2 T2,在深度学习、机器学习、故障诊断领域用的较多,这里可参考 T 2 T^2 T2的相关内容。
    应用部分参考自一篇Paper ⟶ \longrightarrow [1]. CHEN Zhiw en,DING S X,ZHANG Kai,et al.Canonical correlation analysis- based fault detection methods with application to alumina evaporation process[J].Control Engineering Practice,2016,46:51- 58.

    Python代码

    ## 通过sklearn工具包内置的CCA实现
    import numpy as np
    from sklearn.cross_decomposition import CCA
    from icecream import ic   # ic用于显示,类似于print
    
    A = [[3, 4, 5, 6, 7] for i in range(2000)] 
    B = [[8, 9, 10, 11, 12] for i in range(2000)] 
    # 注意在A、B中的数为输入变量及输出变量参数
    
    # 建模
    cca = CCA(n_components=1)  # 若想计算第二主成分对应的相关系数,则令cca = CCA(n_components=2)
    # 训练数据
    cca.fit(X, Y)
    # 降维操作
    X_train_r, Y_train_r = cca.transform(X, Y)
    #输出相关系数
    ic(np.corrcoef(X_train_r[:, 0], Y_train_r[:, 0])[0, 1])  #如果想计算第二主成分对应的相关系数 print(np.corrcoef(X_train_r[:, 1], Y_train_r[:, 1])[0, 1])
    

    另有一个包含可视化CCA的Python代码在 这里

    Matlab代码

    function[ccaEigvector1, ccaEigvector2] = CCA(data1, data2)
    
    
    dataLen1 = size(data1, 2);
    
    dataLen2 = size(data2, 2);
    
     
    
    % Construct the scatter of each view and the scatter between them
    
    data = [data1 data2];
    
    covariance = cov(data);
    
    % Sxx = covariance(1 : dataLen1, 1 : dataLen1) + eye(dataLen1) * 10^(-7);
    
    Sxx = covariance(1 : dataLen1, 1 : dataLen1);
    
    % Syy = covariance(dataLen1 + 1 : size(covariance, 2), dataLen1 + 1 : size(covariance, 2)) ...
    
    % + eye(dataLen2) * 10^(-7);
    
    Syy = covariance(dataLen1 + 1 : size(covariance, 2), dataLen1 + 1 : size(covariance, 2));
    
    Sxy = covariance(1 : dataLen1, dataLen1 + 1 : size(covariance, 2));
    
    % Syx = Sxy';
    
     
    % using SVD to compute the projection
    
    Hx = (Sxx)^(-1/2);
    
    Hy = (Syy)^(-1/2);
     
    
    H = Hx * Sxy * Hy;
    
    [U, D, V] = svd(H, 'econ');
    
    ccaEigvector1 = Hx * U;
    
    ccaEigvector2 = Hy * V;
    
    % make the canonical correlation variable has unit variance
    
    ccaEigvector1 = ccaEigvector1 * diag(diag((eye(size(ccaEigvector1, 2)) ./ sqrt(ccaEigvector1' * Sxx * ccaEigvector1))));
    
    ccaEigvector2 = ccaEigvector2 * diag(diag((eye(size(ccaEigvector2, 2)) ./ sqrt(ccaEigvector2' * Syy * ccaEigvector2))));
    
    end
    

    坚持读Paper,坚持做笔记!!!
    To Be No.1


    过路能❤关注收藏点个赞三连就最好不过了

    ღ( ´・ᴗ・` )


    对自己的爱好保持热情,不要太功利!

    展开全文
  • 典型相关分析介绍及python实现

    千次阅读 2021-12-31 16:03:30
    这个时候就是典型相关性分析(Canonical Correlation Analysis,CCA)的应用场景.CCA允许我们同时从两套数据分析.典型的应用场景就包括生物学上的联合分析,同一组样本,同时检测转录组和蛋白组,转录组和代谢组以及微生物...

    在处理单个高维数据时,通过可以通过LDA,PCA,等等方法进行降维处理,但是如果某两个数据来自同一个样本,但是数据类型不同,差距巨大时,怎么办呢?这个时候就是典型相关性分析(Canonical Correlation Analysis,CCA)的应用场景.CCA允许我们同时从两套数据分析.典型的应用场景就包括生物学上的联合分析,同一组样本,同时检测转录组和蛋白组,转录组和代谢组以及微生物代谢组等等,更详细的内容可参考 维基百科 .

    CCA与PCA的联系与差别

    CCA有点类似PCA(主成分分析,principal component analysis),它们都由同一个课题组提出,在降维方面(canonical variables)可以认为是多套数据的PCA.

    不同之处是PCA旨在找出一套数据中能够表示最多方差的线性组合,而CCA旨在找出两套数据中能够最大程度表示其相关性的线性组合.

    python实现CCA分析

    那么在python中如何实现CCA分析呢? 在sklearn包中的cross_decomposition提供了CCA分析方法,直接调用即可,这里以企鹅数据为例

    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    import numpy as np
    filename = "penguins.csv"
    df = pd.read_csv(filename)
    df =df.dropna()
    df.head()

    展示数据

    species	island	bill_length_mm	bill_depth_mm	flipper_length_mm	body_mass_g	sex
    0	Adelie	Torgersen	39.1	18.7	181.0	3750.0	MALE
    1	Adelie	Torgersen	39.5	17.4	186.0	3800.0	FEMALE
    2	Adelie	Torgersen	40.3	18.0	195.0	3250.0	FEMALE
    4	Adelie	Torgersen	36.7	19.3	193.0	3450.0	FEMALE
    5	Adelie	Torgersen	39.3	20.6	190.0	3650.0	MALE

    我们选取其中两种特征作为研究对象bill_length_mm和bill_depth_mm作为一组,而flipper_length_mm与body_mass_g作为另一组,

    from sklearn.preprocessing import StandardScaler
    df1 = df[["bill_length_mm","bill_depth_mm"]]
    df1_std = pd.DataFrame(StandardScaler().fit(df1).transform(df1), columns = df1.columns)
    df1_std.head()
    df2 = df[["flipper_length_mm","body_mass_g"]]
    df2_std = pd.DataFrame(StandardScaler().fit(df2).transform(df2), columns = df2.columns)
    df2_std.head()

    数据变成

    # df 1
    	bill_length_mm	bill_depth_mm
    0	-0.896042	0.780732
    1	-0.822788	0.119584
    2	-0.676280	0.424729
    3	-1.335566	1.085877
    4	-0.859415	1.747026
    # df2
    	flipper_length_mm	body_mass_g
    0	-1.426752	-0.568475
    1	-1.069474	-0.506286
    2	-0.426373	-1.190361
    3	-0.569284	-0.941606
    4	-0.783651	-0.692852

    开始正式的CCA分析

    from sklearn.cross_decomposition import CCA
    ca = CCA()
    xc,yc = ca.fit(df1, df2).transform(df1, df2)

    其得到的结果与输入长度一致

    np.shape(xc)
    # (333,2)
    np.shape(yc)
    # (333,2)

    而且是高度相关的,这里直接计算其相关性

    np.corrcoef(xc[:, 0], yc[:, 0])
    np.corrcoef(xc[:, 1], yc[:, 1])

    相关性结果为

    array([[1.        , 0.78763151],
           [0.78763151, 1.        ]])
    array([[1.        , 0.08638695],
           [0.08638695, 1.        ]])

    第一对结果很好,相关性0.79,而第二对结果堪忧,我们将CCA分析得到的结果与物种和性别组合成新的dataframe

    cca_res = pd.DataFrame({"CCA1_1":xc[:, 0],
                           "CCA2_1":yc[:, 0],
                           "CCA1_2":xc[:, 1],
                           "CCA2_2":yc[:, 1],
                           "Species":df.species,
                          "sex":df.sex})
    cca_res.head()

    其数据为

    CCA1_1	CCA2_1	CCA1_2	CCA2_2	Species	sex
    0	-1.186252	-1.408795	-0.010367	0.682866	Adelie	MALE
    1	-0.709573	-1.053857	-0.456036	0.429879	Adelie	FEMALE
    2	-0.790732	-0.393550	-0.130809	-0.839620	Adelie	FEMALE
    4	-1.718663	-0.542888	-0.073623	-0.458571	Adelie	FEMALE
    5	-1.772295	-0.763548	0.736248	-0.014204	Adelie	MALE

    通过其第一列数据进行散点图分析

    sns.scatterplot(data=cca_res,x="CCA1_1",y="CCA2_1",hue="Species",s=10)
    plt.title(f'First column corr = {np.corrcoef(cca_res.CCA1_1,cca_res.CCA2_1)[0, 1]:.2f}')
    plt.savefig("cca_first.png",dpi=200)
    plt.close()

    其图为:

    鉴于第二列数据相关性低,这里通过与原始矩阵进行相关性热图比较,找到其可能的体现的数据

    cca_df = pd.DataFrame({"cca1_1":cca_res.CCA1_1,
                            "cca1_2":cca_res.CCA1_2,
                            "cca2_1":cca_res.CCA2_1,
                            "cca2_2":cca_res.CCA2_2,
                            "Species":df.species.astype('category').cat.codes,
                            "Island":df.island.astype('category').cat.codes,
                             "sex":df.sex.astype('category').cat.codes})
    dfcor = cca_df.corr()
    mask = np.triu(np.ones_like(dfcor))
    sns.heatmap(dfcor,cmap="bwr",annot=True)
    plt.savefig("cca_corr.png",dpi=200)
    plt.close()

    绘制的图为:

    可以看到sex性别与cca2_2相关性最大,为0.42,推测其隐藏信息是性别

    sns.scatterplot(data=cca_res,x="CCA1_2",y="CCA2_2",hue="sex",s=10)
    plt.title(f'Second column corr = {np.corrcoef(cca_res.CCA1_2,cca_res.CCA2_2)[0, 1]:.2f}')
    plt.savefig("cca_sex.png",dpi=200)
    plt.close()

    图为:

    不同样本可以明显区分开来,

    总结

    CCA在高维数据中可以很好的进行多组类型数据的处理,在企鹅数据中表现很好,在生物学上多组学数据的联合分析也是基础的处理方法,后续继续介绍其他的多组学处理方法.

    展开全文
  • 典型相关分析 CCA

    千次阅读 2020-12-23 01:21:10
    最近有小伙伴在问我一个数据分析的问题, 做毕设, 实证分析. 不知道改如何处理数据.看了下设计的量表大致是这样的, 都是 5级的里克特量表, 大致分为两波, X, Y. 小伙伴认为就只有两个变量, 这是从商业理论上来认识的,...

    最近有小伙伴在问我一个数据分析的问题, 做毕设, 实证分析. 不知道改如何处理数据.

    看了下设计的量表大致是这样的, 都是 5级的里克特量表, 大致分为两波, X, Y. 小伙伴认为就只有两个变量, 这是从商业理论上来认识的, 但从数据的角度, 却不是的.

    X: 一共有22个问题, 也就是22个字段; 里面又是有认为分组的, 三两个字段, 又被认定为一个别名.

    Y: 一共有13个问题, 也就是13个字段; 里面有是人为分组, 三两字段啥的, 分为 4组, 分别有别名.

    然后不知道该如何分析?

    问题

    探寻 X 与 Y 的相关关系(线性相关)

    其实探讨的时候, 挺不易的, 就很难知道她到底想要分析什么, 需求是什么, 还以为要做什么回归分析, 什么相关分析, 什么统计描述或其他的, 总之, 沟通过程非常漫长. 最后我放弃了, 还是单纯从这个数据级来分析.

    本质上, 其实宏观来看, 就是 X 和 Y 的相关性如何嘛, 以及如何影响的. 那这不是求一波, 相关系数嘛. 但这里, X, Y 是多个字段, 是多对多 的关系, 就求不来了. 因此需要引进新的方法.

    CCA

    于是引入了典型相关分析 (Canonical Correlation Analysis), 用于探索多变量之间的关联关系.

    于是这个问题, 就可以初步这样来做.

    更正一波,写的有点不对, 不是分别降低到一维度. 而是分别降维后, x 和 y 能进行 配对. 这里 y 有13个嘛, x 有22个, 假设根本不对 y 进行降维, 那最多也只能匹配到 13对. 约束条件就是相关系数最大呀. 这块的数学公式就暂时不写了, 跟 PCA , 因子分析的逻辑是类似的.

    发现了一个神器, 在线SPSS, 叫做 SPSSAU, 付费的, 但功能强大, UI 很有感觉, 重点是完全实现 傻瓜式操作. 虽然我已经不再做这块了, 但还是很怀念 SPSS, 比较是我数据分析之路的启蒙软件. 至少是真正用来做数据分析, 做市场研究的.

    简单, 托拉拽, 一键输出报告, 包含 假设检验. 探寻数据的应用意义, 而不用太多关注底层的数学公式. 虽然数学公式会更加帮助理解数据集, 这是后话. 我觉得这才是数据分析的意义:

    描述性统计分析

    关联性统计分析

    探索性建模分析

    这种基于统计理论的分析框架 + 商业理论, 已早已熟练于心. 虽然现在的不用这类 傻瓜工具了, 现在自己搞编程, 但我感觉企业中的数据分析, 至少我接触的反而更加低级.

    写 sql 查询数据 或 手动下载数据

    筛选字段, 合并表格

    计算业务指标, 几遍的加减乘除, 什么同比环比

    大量的分组聚合, 生成报表, 看板

    真的是, 从技术层面, 毫无难度. 我很多时间都是干这些活, 相比数据分析,我认为的, 我感觉还真不如几年前用 SPSS 的时光. 起码是真的再利用数据的价值来进行市场研究, 市场分析.

    然后会最终得到这样类似的结果 , 和一些假设检验, 因子载荷等的术语, 都蛮简单的. (我没跑, 数据暂不能公开, 找了一张网上的示意图)

    这样 CCP 就完成了, 多自变量 和 多因变量的关联分析了.

    Next - 回归

    继续要探寻, X 和部分 y 的关系. 我的思路, 都既然做相关分析了, 那很自然再拓展到回归分析呀.

    合并 y 为 1 列

    回归分析的 y 是一个字段, 因此, 可以将 量表中的 小 y 组进行, 合并为一列. 这里, 可以加权 或者 直接平均, 自己能解释清楚就行.

    主成分 + 多元回归

    有一个 y, 有很多的 x1, x2, x2... 相关分析, 就是要判断, 这些 x1, x2..与 y 是都是分别有线性相关性的(相关系数高); 而 x1, 与 x2, x3.. 之间呢, 彼此相关系数 要低

    第二步就是要降维. 为啥必须要降维度呢, 就是怕 X 矩阵, 存在共线, 然后就不能 求 逆了呀.

    PCA降维

    至于如何降维, 我感觉我自己都说烂了. 也搞好几年了, 就是让特征重新进行线性组合 (改变数据了哦) 为几个较少得到特征, 然后尽可能保留原来更多的信息 (协方差的范数尽可能大)

    求解模型参数

    方法1 是一步求解, 就用上面的共线图中的矩阵运算即可.

    方法2 是用梯度下降法来做, 我用的多, 但这个小伙伴, 没有学过编程, 就还是给推荐, 撒花是点点点算了.

    小结

    多自变量 和 多因变量 分析可以考虑 典型相关分析 CCA 这种 "降维配对" 的技术

    回归分析必须 3步: 先做相关性分析; 再做降维处理; 再训练模型参数;

    PCA 我感觉非常厉害的. 还有一在线版spssau 的工具体验感很好, 市场研究方面的数据处理, 很适合.

    展开全文
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,适合非专业人士 开源系统,拥有...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 开源系统,...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 开源系统,...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,适合非专业人士 开源系统,拥有强大的生态圈 ...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 开源系统,...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 说明:最近有很多想学习Python的小伙伴申请单独加我微信和QQ,因为我自己平时也很忙,没办法一一解答大家的问题,我创建了Python100天学习交流3...
  • 典型相关分析matlab实现代码 python Python 开源库及示例代码 Table of Contents 说明 1 算法 1.1 字符串 1.1.1 正则表达式 1.1.2 字符集 1.1.3 (其它) 1.2 编码 & 解码 1.2.1 base64 1.2.2 UUencode 1.2.3 BinHex...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,适合非专业人士 开源系统,拥有强大的生态圈 ...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 最近有很多想学习Python的小伙伴陆陆续续加入我们的交流群,目前我们的交流群人数已经超过一万人。我们的目标是打造一个优质的Python交流社区,...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,适合非专业人士 开源系统,拥有...
  • 典型相关分析matlab实现代码 Python - 100天从新手到大师 作者:骆昊 说明:最近有很多想学习Python的小伙伴申请单独加我微信和QQ,因为我自己平时也很忙,没办法一一解答大家的问题,我创建了Python100天学习交流3...
  • 典型相关分析matlab实现代码 Python - 100天从入门到大师 项目源于 作者:骆昊 Python应用领域和就业形势分析 简单的说,Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低,非专业人士也能上手 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 63,062
精华内容 25,224
关键字:

典型相关分析python