精华内容
下载资源
问答
  • 典型相关系数公式
    千次阅读 多人点赞
    2021-08-04 11:10:57

    随着对CCA的深入研究,是时候对CCA进行一下总结了。

    本菜鸡主要研究方向为故障诊断,故会带着从应用角度进行理解。


    典型相关分析

    基本原理

    从字面意义上理解CCA,我们可以知道,简单说来就是对不同变量之间做相关分析。较为专业的说就是,一种度量两组变量之间相关程度的多元统计方法

    关于相似性度量距离问题,在这里有一篇Blog可以参考参考。

    首先,从基本的入手。

    当我们需要对两个变量 X , Y X,Y XY进行相关关系分析时,则常常会用到相关系数来反映。学过概率统计的小伙伴应该都知道的吧。还是解释一下。

    相关系数:是一种用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算,同样以两变量与各自平均值的离差为基础,通过两个离差相乘来反映两变量之间相关程度;着重研究线性的单相关系数。
    R ( X , Y ) = Cov ⁡ ( X , Y ) Var ⁡ [ X ] Var ⁡ [ Y ] R(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}} R(X,Y)=Var[X]Var[Y] Cov(X,Y)
    其中, C o v ( X , Y ) Cov(X,Y) Cov(X,Y)表示 X , Y X,Y X,Y的协方差矩阵, V a r [ X ] Var[X] Var[X] X X X的方差, V a r [ Y ] Var[Y] Var[Y] Y Y Y的方差.

    复习了一下大学本科概率统计知识,那么,如果我们需要分析的对象是两组或者多组向量,又该怎么做呢?

    CCA的数学表达

    这里举例两组变量 A ( a 1 , a 2 , . . . , a n ) , B ( b 1 , b 2 , . . . , b m ) A(a_1,a_2,...,a_n),B(b_1,b_2,...,b_m) A(a1,a2,...,an),B(b1,b2,...,bm),那么我们的公式会是这样:
    R ( X i , Y j ) = ∑ i = 1 , j = 1 n , m C o v ( X i , Y j ) V a r [ X i ] V a r [ Y j ] R(X_i,Y_j)=\sum_{i=1,j=1}^{n,m} \frac{Cov(X_i,Y_j)}{\sqrt{Var[X_i]Var[Y_j]}} R(Xi,Yj)=i=1,j=1n,mVar[Xi]Var[Yj] Cov(Xi,Yj)
    我们会得到一个这样的矩阵:
    [ R ( X 1 , Y 1 ) . . . R ( X 1 , Y m − 1 ) R ( X 1 , Y m ) R ( X 2 , Y 1 ) . . . R ( X 2 , Y m − 1 ) R ( X 2 , Y m ) . . . . . . . . . . . . R ( X n , Y 1 ) . . . . . . R ( X n , Y m ) ] \begin{bmatrix} R(X_1,Y_1) &... & R(X_1,Y_{m-1}) & R(X_1,Y_m)\\R(X_2,Y_1) & ...& R(X_2,Y_{m-1})& R(X_2,Y_m)\\ ...& ...& ...&... \\ R(X_n,Y_1) & ...& ...&R(X_n,Y_m) \end{bmatrix} R(X1,Y1)R(X2,Y1)...R(Xn,Y1)............R(X1,Ym1)R(X2,Ym1)......R(X1,Ym)R(X2,Ym)...R(Xn,Ym)

    这样的话,我们把每个变量的相关系数都求了出来,不知道会不会和我一样觉得这样很繁琐呢。如果我们能找到两组变量之间的各自的线性组合,那么我们就只分析讨论线性组合之间的相关分析。

    典型相关系数:是先对原来各组变量进行主成分分析,得到新的线性关系的综合指标,再通过综合指标之间的线性相关系数来研究原各组变量间相关关系。

    现在我们利用主成分分析(PCA)的思想,可以把多个变量与多个变量之间的相关转化成两个变量之间的相关。

    先得到两组变量 ( A T , B T ) (A^T,B^T) (AT,BT)的协方差矩阵
    Σ = [ Σ 11   Σ 12 Σ 21   Σ 22 ] \Sigma=\left[\begin{array}{l} \Sigma_{11} \ \Sigma_{12} \\ \Sigma_{21} \ \Sigma_{22} \end{array}\right] Σ=[Σ11 Σ12Σ21 Σ22]
    其中, Σ 11 = C o v ( A ) , Σ 22 = C o v ( B ) , Σ 12 = Σ 12 T = C o v ( A , B ) \Sigma_{11} = Cov(A),\Sigma_{22} = Cov(B),\Sigma_{12}=\Sigma_{12}^T = Cov(A,B) Σ11=Cov(A),Σ22=Cov(B),Σ12=Σ12T=Cov(A,B).

    把上面两组变量 A ( a 1 , a 2 , . . . , a n ) , B ( b 1 , b 2 , . . . , b m ) A(a_1,a_2,...,a_n),B(b_1,b_2,...,b_m) A(a1,a2,...,an),B(b1,b2,...,bm)分别组合成两个变量U、V,则用线性表示
    U = t 1 a 1 + t 2 a 2 + . . . + t n a n , V = h 1 b 1 + h 2 b 2 + . . . + h m b m \begin{matrix} U=t_1a_1+t_2a_2+...+t_na_n,\\ \\V=h_1b_1+h_2b_2+...+h_mb_m \end{matrix} U=t1a1+t2a2+...+tnan,V=h1b1+h2b2+...+hmbm

    然后,找出最大可能的相关系数 t k = ( t 1 , t 2 , . . . , t n ) T , h k = ( h 1 , h 2 , . . . , h m ) T {t_k}=(t_1,t_2,...,t_n)^T,{h_k}=(h_1,h_2,...,h_m)^T tk=(t1,t2,...,tn)T,hk=(h1,h2,...,hm)T,

    使得, R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max,这样,就得到了典型相关系数;而其中的 U , V U,V U,V典型相关变量

    典型相关分析最朴素的思想:首先分别在每组变量中找出第一对典型变量,使其具有最大相关性,然后在每组变量中找出第二对典型变量,使其分别与本组内的第一对典型变量不相关,第二对本身具有次大的相关性。如此下去,直到进行到K步,两组变量的相关系被提取完为止,可以得到K组变量。

    So

    注意:此时的 ( U , V ) (U,V) (U,V)若不能反映两组变量之间的相关关系,我们需要继续构造下一组关系变量来表示,具体可构造 K K K这样的关系

    直到 R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max为止
    U k = t k T A = t 1 k a 1 + t 2 k a 2 + . . . + t n k a n V k = h k T B = h 1 k b 1 + h 2 k b 2 + . . . + h m k b m \begin{matrix} U_k={t_k^T}{A}=t_{1k}a_1+t_{2k}a_2+...+t_{nk}a_n\\ \\ V_k={h_k^T}{B}=h_{1k}b_1+h_{2k}b_2+...+h_{mk}b_m \end{matrix} Uk=tkTA=t1ka1+t2ka2+...+tnkanVk=hkTB=h1kb1+h2kb2+...+hmkbm

    其中,我们需要一个约束条件满足,使得 R ( U , V ) ⟶ M a x R(U,V)\longrightarrow Max R(U,V)Max

    V a r ( U k ) = V a r ( t k T A ) = t k T Σ 11 t k = 1 V a r ( V k ) = V a r ( h k T A ) = h k T Σ 22 h k = 1 C o v ( U k , U i ) = C o v ( U k , V i ) = C o v ( V i , U k ) = C o v ( V k , V i ) = 0 ( 1 < = i < k ) \begin{matrix} Var(U_k)=Var({t_k^T}{A})={t_k^T}\Sigma_{11}t_k=1\\ \\ Var(V_k)=Var({h_k^T}{A})={h_k^T}\Sigma_{22}h_k=1\\ \\ Cov(U_k,U_i)=Cov(U_k,V_i)=Cov(V_i,U_k)=Cov(V_k,V_i)=0(1<=i<k) \end{matrix} Var(Uk)=Var(tkTA)=tkTΣ11tk=1Var(Vk)=Var(hkTA)=hkTΣ22hk=1CovUk,Ui=Cov(Uk,Vi)=Cov(Vi,Uk)=Cov(Vk,Vi)=0(1<=i<k)
    典型相关系数公式 R ( U , V ) R_{(U,V)} R(U,V)
    R ( U , V ) = Cov ⁡ ( U , V ) Var ⁡ [ U ] Var ⁡ [ V ] = C o v ( U , V ) = t k T C o v ( A , B ) h k = t k T Σ 12 h k R_{(U,V)}=\frac{\operatorname{Cov}(U, V)}{\sqrt{\operatorname{Var}[U] \operatorname{Var}[V]}}=Cov(U,V)={t_k}^TCov(A,B)h_k={t_k}^T\Sigma_{12} h_k R(U,V)=Var[U]Var[V] Cov(U,V)=Cov(U,V)=tkTCov(A,B)hk=tkTΣ12hk

    在此约束条件下, t k , h k t_k,h_k tk,hk系数得到最大,则使得 R ( U , V ) R_{(U,V)} R(U,V)最大

    典型相关系数及变量的求法

    下面一起来求 t 1 , h 1 t_1,h_1 t1,h1(这里只例举第一典型相关系数)

    (一起来复习高数–拉格朗日乘数法

    前提条件,我们有个计算公式,约束条件也有了,故这是一个求解条件极值题呀!!!

    列出我们的拉格朗日函数:
    ϕ ( t 1 , h 1 ) = t 1 T Σ 12 h 1 − λ 2 ( t 1 T Σ 11 t 1 − 1 ) − v 2 ( h 1 T Σ 22 h 1 − 1 ) \phi\left(t_{1}, h_{1}\right)=t_{1}^T \Sigma_{12} h_{1}-\frac{\lambda}{2}\left(t_{1}^T \Sigma_{11} t_{1}-1\right)-\frac{v}{2}\left(h_{1}^T \Sigma_{22} h_{1}-1\right) ϕ(t1,h1)=t1TΣ12h12λ(t1TΣ11t11)2v(h1TΣ22h11)
    其中, λ , v \lambda,v λ,v表示拉格朗日乘子参数。

    由上述典型相关系数公式 R ( U , V ) R_{(U,V)} R(U,V)可知,我们只需求其系数 t 1 , h 1 t_1,h_1 t1,h1的最大值,即可

    ϕ ( t 1 , h 1 ) \phi(t_1,h_1) ϕ(t1,h1)做一阶偏导运算:
    { ∂ ϕ ∂ t 1 = ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∂ ϕ ∂ h 1 = ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \frac{\partial \phi}{\partial t_{1}}=\sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \frac{\partial \phi}{\partial h_{1}}=\sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. t1ϕ=12h1λ11t1=0h1ϕ=21t1v22h1=0
    也就是
    { ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. 12h1λ11t1=021t1v22h1=0
    将上式分别左乘 t 1 , h 1 t_1,h_1 t1,h1得,
    {   t 1 Σ 12 h 1 − λ t 1 Σ 11 t 1 = 0   h 1 Σ 21 t 1 − v h 1 Σ 22 h 1 = 0 \left\{\begin{array}{l} \ t_{1}\Sigma_{12} h_{1}-\lambda t_{1}\Sigma_{11} t_{1}=0 \\ \\ \ h_{1}\Sigma_{21} t_{1}-v h_{1} \Sigma_{22} h_{1}=0 \end{array}\right.  t1Σ12h1λt1Σ11t1=0 h1Σ21t1vh1Σ22h1=0
    由于约束条件可知 V a r ( U 1 ) = V a r ( V 1 ) = 1 Var(U_1)=Var(V_1)=1 Var(U1)=Var(V1)=1,解得,
    {   t 1 Σ 12 h 1 = λ   h 1 Σ 21 t 1 = v \left\{\begin{array}{l} \ t_{1}\Sigma_{12} h_{1}=\lambda \\ \\ \ h_{1}\Sigma_{21} t_{1} =v \end{array}\right.  t1Σ12h1=λ h1Σ21t1=v
    此时,我们来对比一下上面列出的求解 R ( U , V ) R_{(U,V)} R(U,V)公式,有没有,是不是,一模一样,我们的拉格朗日乘子 λ , v = t 1 Σ 12 h 1 = R ( U , V ) \lambda,v=t_{1}\Sigma_{12} h_{1}=R_{(U,V)} λ,v=t1Σ12h1=R(U,V),也就是说, λ , v \lambda,v λ,v即为我们要求解的典型相关系数

    我们由式 { ∑ 12 h 1 − λ ∑ 11 t 1 = 0 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \left\{\begin{array}{l} \sum_{12} h_{1}-\lambda \sum_{11} t_{1}=0 \\ \\ \sum_{21} t_{1}-v \sum_{22} h_{1}=0 \end{array}\right. 12h1λ11t1=021t1v22h1=0,可得
    λ t 1 = Σ 11 − 1 Σ 12 h 1 \lambda t_1 = \Sigma _{11}^{-1}\Sigma_{12} h_{1} λt1=Σ111Σ12h1
    由于 λ = v \lambda=v λ=v,再将此代入 ∑ 21 t 1 − v ∑ 22 h 1 = 0 \sum_{21} t_{1}-v \sum_{22} h_{1}=0 21t1v22h1=0中,可得
    Σ 12 Σ 22 − 1 Σ 21 t 1 − λ 2 Σ 11 t 1 = 0 Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 t 1 − λ 2 t 1 = 0 \begin{array}{l} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} t_{1}-\lambda^{2} \Sigma_{11} t_{1}=0 \\ \\ \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} t_{1}-\lambda^{2} t_{1}=0 \end{array} Σ12Σ221Σ21t1λ2Σ11t1=0Σ111Σ12Σ221Σ21t1λ2t1=0
    上面的式子是不是很熟悉 A X = λ X AX=\lambda X AX=λX,

    Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 = A t 1 = X λ = λ 2 \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} = A \\ t_1=X \\ \lambda=\lambda^2 Σ111Σ12Σ221Σ21=At1=Xλ=λ2
    故, Σ 11 − 1 Σ 12 Σ 22 − 1 Σ 21 \Sigma_{11}^{-1} \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} Σ111Σ12Σ221Σ21的特征值为 λ 2 \lambda^2 λ2,特征向量为 t 1 t_1 t1

    到此,我们可求得相应的 t 1 , h 1 t_1,h_1 t1,h1 R ( U , V ) R_{(U,V)} R(U,V)


    典型相关分析应用

    基于 CCA 的故障检测方法

    对于CCA应用在故障检测中,基于 CCA 的故障检测方法可以视为基于 PCA 和基于 PLS 故障检测方法的一种扩展。

    基本思想:是利用典型相关关系构建一个残差发生器, 通过对残差信号的评价做出故障检测的相应决策。该方法中提出了 4 个统计量, 将输入空间分为两个部分, 即与输出空间相关的子空间和与输出空间不相关的子空间;同理,将输出空间分为两个部分, 即与输入空间相关的子空间和与输入空间不相关的子空间。

    u o b s ∈ R l u_{obs}∈R^l uobsl y o b s ∈ R m y_{obs}∈R^m yobsm表示测量的过程输入和输出向量, l l l m m m分别表示相应的数据维数。对两个向量进行去均值, 可得

    u = u o b s − μ u (1) \boldsymbol{u} = \boldsymbol{u}_{\mathrm{obs}}-\boldsymbol{\mu}_{u} \tag{1} u=uobsμu(1)
    y = y o b s − μ y (2) \boldsymbol{y} = \boldsymbol{y}_{\mathrm{obs}}-\boldsymbol{\mu}_{y} \tag{2} y=yobsμy(2)
    式中: μ u μ_u μu μ y μ_y μy分别表示输入变量均值和输出变量均值。假设采样得到 N 个过程数据, 并组成如下输入输出数据集

    U = [ u ( 1 ) , u ( 2 ) , ⋯   , u ( N ) ] ∈ R l × N , Y = [ y ( 1 ) , y ( 2 ) , ⋯   , y ( N ) ] ∈ R m × N \boldsymbol{U}=[\boldsymbol{u}(1), \boldsymbol{u}(2), \cdots, \boldsymbol{u}(N)] \in \mathbf{R}^{l \times N}, \boldsymbol{Y}=[\boldsymbol{y}(1), \boldsymbol{y}(2), \cdots, \boldsymbol{y}(N)] \in \mathbf{R}^{m \times N} U=[u(1),u(2),,u(N)]Rl×N,Y=[y(1),y(2),,y(N)]Rm×N
    式中: u ( i ) , y ( i ) , ( i = 1 , … , N ) u(i), y(i) , (i = 1, …, N) u(i)y(i)(i=1N)是按式(1)(2)中心化后的输入输出向量, 相应的平均值
    μ u ≈ 1 N ∑ i = 1 N u o b s ( i ) , μ y ≈ 1 N ∑ i = 1 N y o b s ( i ) , \boldsymbol{\mu}_{u} \approx \frac{1}{N} \sum_{i=1}^{N} \boldsymbol{u}_{\mathrm{obs}}(i), \boldsymbol{\mu}_{y} \approx \frac{1}{N} \sum_{i=1}^{N} \boldsymbol{y}_{\mathrm{obs}}(i), μuN1i=1Nuobs(i),μyN1i=1Nyobs(i),

    并且, 协方差矩阵 Σ u 、 Σ y Σ_u、 Σ_y ΣuΣy和输入输出的互协方差矩阵 Σ u y Σ_{uy} Σuy分别为:
    Σ u ≈ 1 N − 1 ∑ i = 1 N ( u o b s ( i ) − μ u ) ( u o b s ( i ) − μ u ) T = U U T N − 1 (3) \boldsymbol{\Sigma}_{u} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)^{\mathrm{T}}=\frac{\boldsymbol{U} \boldsymbol{U}^{\mathrm{T}}}{N-1}\tag{3} ΣuN11i=1N(uobs(i)μu)(uobs(i)μu)T=N1UUT(3)
    Σ y ≈ 1 N − 1 ∑ i = 1 N ( y o b s ( i ) − μ y ) ( y o b s ( i ) − μ y ) T = Y Y T N − 1 (4) \boldsymbol{\Sigma}_{y} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)^{\mathrm{T}}=\frac{\boldsymbol{Y} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\tag{4} ΣyN11i=1N(yobs(i)μy)(yobs(i)μy)T=N1YYT(4)
    Σ u y ≈ 1 N − 1 ∑ i = 1 N ( u o b s ( i ) − μ u ) ( y o b s ( i ) − μ y ) T = U Y T N − 1 (5) \boldsymbol{\Sigma}_{u y} \approx \frac{1}{N-1} \sum_{i=1}^{N}\left(\boldsymbol{u}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{u}\right)\left(\boldsymbol{y}_{\mathrm{obs}}(i)-\boldsymbol{\mu}_{y}\right)^{\mathrm{T}}=\frac{\boldsymbol{U} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\tag{5} ΣuyN11i=1N(uobs(i)μu)(yobs(i)μy)T=N1UYT(5)
    结合 CCA 方法, 可得:
    ( U U T N − 1 ) − 1 / 2 ( U Y T N − 1 ) ( Y Y T N − 1 ) − 1 / 2 = Σ u − 1 / 2 Σ u y Σ y − 1 / 2 = Γ s Σ Ψ s T , Σ = [ Λ κ 0 0 0 ] (6) \left(\frac{\boldsymbol{U} \boldsymbol{U}^{\mathrm{T}}}{N-1}\right)^{-1 / 2}\left(\frac{\boldsymbol{U} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\right)\left(\frac{\boldsymbol{Y} \boldsymbol{Y}^{\mathrm{T}}}{N-1}\right)^{-1 / 2}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Sigma}_{u y} \boldsymbol{\Sigma}_{y}^{-1 / 2}=\boldsymbol{\Gamma}_{s} \boldsymbol{\Sigma} \boldsymbol{\Psi}_{s}^{\mathrm{T}}, \boldsymbol{\Sigma}=\left[\begin{array}{ll} \boldsymbol{\Lambda}_{\kappa} & 0 \\ 0 & 0 \end{array}\right]\tag{6} (N1UUT)1/2(N1UYT)(N1YYT)1/2=Σu1/2ΣuyΣy1/2=ΓsΣΨsT,Σ=[Λκ000](6)
    式中: κ 为主元个数, κ ≤ m i n ( l , m ) ; Σ κ = d i a g ( ρ 1 , … , ρ κ ) κ ≤ min(l,m); Σ_κ= diag(ρ1, …, ρκ) κmin(lm);Σκ=diag(ρ1ρκ)为典型相关系数值。
    J s = Σ u − 1 / 2 Γ ( : , 1 : κ ) , L s = Σ y − 1 / 2 Ψ ( : , 1 : κ ) , J r e s = Σ u − 1 / 2 Γ ( : , κ + 1 : l ) , L r e s = Σ y − 1 / 2 Ψ ( : , κ + 1 : m ) \boldsymbol{J}_{s}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Gamma}(:, 1: \kappa), \boldsymbol{L}_{s}=\boldsymbol{\Sigma}_{y}^{-1 / 2} \boldsymbol{\Psi}(:, 1: \kappa), \boldsymbol{J}_{\mathrm{res}}=\boldsymbol{\Sigma}_{u}^{-1 / 2} \boldsymbol{\Gamma}(:, \kappa+1: l), \boldsymbol{L}_{\mathrm{res}}=\boldsymbol{\Sigma}_{y}^{-1 / 2} \boldsymbol{\Psi}(:, \kappa+1: m) Js=Σu1/2Γ(:,1:κ),Ls=Σy1/2Ψ(:,1:κ),Jres=Σu1/2Γ(:,κ+1:l),Lres=Σy1/2Ψ(:,κ+1:m),

    由 CCA 方法可知, J s T u J^T_su JsTu L s T y L^T_sy LsTy具有密切的相关性。

    但是在实际系统中, 测量变量难免受到噪声影响, 两者之间的相关性可表示为:
    L s T y ( k ) = Λ κ T J s T u ( k ) + v s ( k ) (7) \boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)=\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)+\boldsymbol{v}_{s}(k)\tag{7} LsTy(k)=ΛκTJsTu(k)+vs(k)(7)
    式中: v s v_s vs为噪声项, 并且与 J s T u J^T_su JsTu弱相关。基于此, 残差向量
    r 1 ( k ) = L s T y ( k ) − Λ κ T J s T u ( k ) (8) \boldsymbol{r}_{1}(k)=\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)\tag{8} r1(k)=LsTy(k)ΛκTJsTu(k)(8)

    其中的 Λ κ T {\Lambda}_{\kappa}^{\mathrm{T}} ΛκT为系数矩阵,上面介绍了CCA的数学运算,这里应该能理解,只不过多加了一个噪声向量。

    假设输入输出数据服从高斯分布。已知线性变换不改变随机变量的分布, 所以残差信号 r 1 r_1 r1也服
    从高斯分布, 其协方差矩阵:
    Σ r 1 = 1 N − 1 ( L s T Y − Λ κ T J s T U ) ( L s T Y − Λ κ T J s T U ) T = I κ − Λ κ 2 N − 1 (9) \boldsymbol{\Sigma}_{r_1}=\frac{1}{N-1}\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)^{\mathrm{T}}=\frac{\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}}{N-1}{ }^{}\tag{9} Σr1=N11(LsTYΛκTJsTU)(LsTYΛκTJsTU)T=N1IκΛκ2(9)
    同理, 还可以得到另一残差向量
    r 2 ( k ) = L s T y ( k ) − Λ κ T J s T u ( k ) (10) \boldsymbol{r}_{2}(k)=\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{y}(k)-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{u}(k)\tag{10} r2(k)=LsTy(k)ΛκTJsTu(k)(10)
    其协方差矩阵
    Σ r 2 = 1 N − 1 ( L s T Y − Λ κ T J s T U ) ( L s T Y − Λ κ T J s T U ) T = I κ − Λ κ 2 N − 1 (11) \boldsymbol{\Sigma}_{r_2}=\frac{1}{N-1}\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)\left(\boldsymbol{L}_{s}^{\mathrm{T}} \boldsymbol{Y}-\boldsymbol{\Lambda}_{\kappa}^{\mathrm{T}} \boldsymbol{J}_{s}^{\mathrm{T}} \boldsymbol{U}\right)^{\mathrm{T}}=\frac{\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}}{N-1}{ }^{}\tag{11} Σr2=N11(LsTYΛκTJsTU)(LsTYΛκTJsTU)T=N1IκΛκ2(11)
    由式(9)(11) 可以看出, 残差 r1和 r2的协方差相同。 对于故障检测, 可构造如下两个统计量:
    T 1 2 ( k ) = ( N − 1 ) r 1 T ( k ) ( I κ − Λ κ 2 ) − 1 r 1 ( k ) (12) T_{1}^{2}(k)=(N-1) \boldsymbol{r}_{1}^{\mathrm{T}}(k)\left(\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}\right)^{-1} \boldsymbol{r}_{1}(k)\tag{12} T12(k)=(N1)r1T(k)(IκΛκ2)1r1(k)(12)
    T 2 2 ( k ) = ( N − 1 ) r 2 T ( k ) ( I κ − Λ κ 2 ) − 1 r 2 ( k ) (13) T_{2}^{2}(k)=(N-1) \boldsymbol{r}_{2}^{\mathrm{T}}(k)\left(\boldsymbol{I}_{\kappa}-\boldsymbol{\Lambda}_{\kappa}^{2}\right)^{-1} \boldsymbol{r}_{2}(k)\tag{13} T22(k)=(N1)r2T(k)(IκΛκ2)1r2(k)(13)
    注意到统计量 T 1 2 T^2_1 T12用于检测发生在输出子空间且输入相关的那部分故障, 为了检测与输入不相关的那部分故障, 可构造一个统计量
    T 3 2 = y T L r e s L r e s T y (14) T_{3}^{2}=\boldsymbol{y}^{\mathrm{T}} \boldsymbol{L}_{\mathrm{res}} \boldsymbol{L}_{\mathrm{res}}^{\mathrm{T}} \boldsymbol{y}\tag{14} T32=yTLresLresTy(14)
    同理, 为了检测发生在输入空间且与输出不相关的那部分故障, 可构造另一统计量
    T 4 2 = u T L r e s L r e s T u (15) T_{4}^{2}=\boldsymbol{u}^{\mathrm{T}} \boldsymbol{L}_{\mathrm{res}} \boldsymbol{L}_{\mathrm{res}}^{\mathrm{T}} \boldsymbol{u}\tag{15} T42=uTLresLresTu(15)
    由以上分析可知, 通过确定主元个数 κ, 可以得到4 个统计量 T 1 2 T^2_1 T12 T 2 2 T^2_2 T22 T 3 2 T^2_3 T32 T 4 2 T^2_4 T42进行故障检测。

    关于过程故障监控的统计量 T 2 T^2 T2,在深度学习、机器学习、故障诊断领域用的较多,这里可参考 T 2 T^2 T2的相关内容。
    应用部分参考自一篇Paper ⟶ \longrightarrow [1]. CHEN Zhiw en,DING S X,ZHANG Kai,et al.Canonical correlation analysis- based fault detection methods with application to alumina evaporation process[J].Control Engineering Practice,2016,46:51- 58.

    Python代码

    ## 通过sklearn工具包内置的CCA实现
    import numpy as np
    from sklearn.cross_decomposition import CCA
    from icecream import ic   # ic用于显示,类似于print
    
    A = [[3, 4, 5, 6, 7] for i in range(2000)] 
    B = [[8, 9, 10, 11, 12] for i in range(2000)] 
    # 注意在A、B中的数为输入变量及输出变量参数
    
    # 建模
    cca = CCA(n_components=1)  # 若想计算第二主成分对应的相关系数,则令cca = CCA(n_components=2)
    # 训练数据
    cca.fit(X, Y)
    # 降维操作
    X_train_r, Y_train_r = cca.transform(X, Y)
    #输出相关系数
    ic(np.corrcoef(X_train_r[:, 0], Y_train_r[:, 0])[0, 1])  #如果想计算第二主成分对应的相关系数 print(np.corrcoef(X_train_r[:, 1], Y_train_r[:, 1])[0, 1])
    

    另有一个包含可视化CCA的Python代码在 这里

    Matlab代码

    function[ccaEigvector1, ccaEigvector2] = CCA(data1, data2)
    
    
    dataLen1 = size(data1, 2);
    
    dataLen2 = size(data2, 2);
    
     
    
    % Construct the scatter of each view and the scatter between them
    
    data = [data1 data2];
    
    covariance = cov(data);
    
    % Sxx = covariance(1 : dataLen1, 1 : dataLen1) + eye(dataLen1) * 10^(-7);
    
    Sxx = covariance(1 : dataLen1, 1 : dataLen1);
    
    % Syy = covariance(dataLen1 + 1 : size(covariance, 2), dataLen1 + 1 : size(covariance, 2)) ...
    
    % + eye(dataLen2) * 10^(-7);
    
    Syy = covariance(dataLen1 + 1 : size(covariance, 2), dataLen1 + 1 : size(covariance, 2));
    
    Sxy = covariance(1 : dataLen1, dataLen1 + 1 : size(covariance, 2));
    
    % Syx = Sxy';
    
     
    % using SVD to compute the projection
    
    Hx = (Sxx)^(-1/2);
    
    Hy = (Syy)^(-1/2);
     
    
    H = Hx * Sxy * Hy;
    
    [U, D, V] = svd(H, 'econ');
    
    ccaEigvector1 = Hx * U;
    
    ccaEigvector2 = Hy * V;
    
    % make the canonical correlation variable has unit variance
    
    ccaEigvector1 = ccaEigvector1 * diag(diag((eye(size(ccaEigvector1, 2)) ./ sqrt(ccaEigvector1' * Sxx * ccaEigvector1))));
    
    ccaEigvector2 = ccaEigvector2 * diag(diag((eye(size(ccaEigvector2, 2)) ./ sqrt(ccaEigvector2' * Syy * ccaEigvector2))));
    
    end
    

    坚持读Paper,坚持做笔记!!!
    To Be No.1


    过路能❤关注收藏点个赞三连就最好不过了

    ღ( ´・ᴗ・` )


    对自己的爱好保持热情,不要太功利!

    更多相关内容
  • 数模学习(六)---典型相关分析

    千次阅读 2020-07-09 11:52:30
    典型相关分析(Canonical Correlation analysis)是研究两组变量(每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系 提示:这里将涉及到多元统计的知识,在学过了...

    Abstract

    典型相关分析(Canonical Correlation analysis)是研究两组变量(每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系

    提示:这里将涉及到多元统计的知识,在学过了主成分分析模型后再过来看比较合适

    一 引入

    1.1 举个栗子

    在这里插入图片描述

    1.1.1 发现问题

    通过上表我们来探究观众和业内人士对一些电视节目的观点之间存在着什么关系,其中观众评分来自低学历(led)、高学历(hed)和网络(net)调查三种,他们形成第一组变量;而业内人士评分来自包括演员和导演在内的艺术家(art)、发行(com)与业内各部门主管(man)三种,形成第二组变量
    我们直接对这些变量的相关进行两两分析,很难得到关于这两组变量(观众和业内人士)之间关系的一个清楚的印象

    1.1.2 解决思路

    因此,我们需要把多个变量与多个变量之间的相关化为两个具有代表性的变量之间的相关

    1.1.3 选出代表

    代表:能较为综合、全面的衡量所在组的内在规律
    一组变量最简单的综合形式就是该组变量的线性组合

    二 典型相关分析

    2.1 典型相关分析的定义

    典型相关分析的基本思想和主成分分析十分相似
    它按以下步骤进行分析:

    1. 首先在每组变量中找出这些变量的线性组合,使得两组的线性组合之间具有很大的相关系数
    2. 然后选取和最初挑选的这对线性组合不相关的线性组合,使其配对,并选取相关系数最大的一堆
    3. 如此继续下去,直到两组变量之间的相关性被提取完毕为止
    4. 被选出的线性组合配对称为典型变量,它们的相关系数被称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度

    2.2 典型相关分析的思路

    假设两组变量分别为: X 1 = ( X 1 1 、 X 2 1 . . . X p 1 ) , X 2 = ( X 1 2 、 X 2 2 . . . X q 2 ) X^{1}=(X_{1}^{1}、X_{2}^{1}...X_{p}^{1}),X^{2}=(X_{1}^{2}、X_{2}^{2}...X_{q}^{2}) X1=(X11X21...Xp1)X2=(X12X22...Xq2)
    分别在两组变量中选取若干有代表性的综合变量 U i 、 V i U_{i}、V_{i} UiVi,
    使得每一个综合变量是原变量的线性组合,即
    U i = a 1 ( i ) X 1 ( 1 ) + a 2 ( i ) X 2 ( 1 ) + . . . + a p ( i ) X p ( 1 ) ≡ a ( i ′ ) X ( 1 ) V i = b 1 ( i ) X 1 ( 2 ) + b 2 ( i ) X 2 ( 2 ) + . . . + b q ( i ) X q ( 2 ) ≡ b ( i ′ ) X ( 2 ) U_{i} = a_{1}^{(i)}X_{1}^{(1)}+a_{2}^{(i)}X_{2}^{(1)}+...+a_{p}^{(i)}X_{p}^{(1)} \equiv \boldsymbol {a^{(i')}X^{(1)}} \\ V_{i} = b_{1}^{(i)}X_{1}^{(2)}+b_{2}^{(i)}X_{2}^{(2)}+...+b_{q}^{(i)}X_{q}^{(2)} \equiv \boldsymbol {b^{(i')}X^{(2)}} \\ Ui=a1(i)X1(1)+a2(i)X2(1)+...+ap(i)Xp(1)a(i)X(1)Vi=b1(i)X1(2)+b2(i)X2(2)+...+bq(i)Xq(2)b(i)X(2)
    注意:综合变量的组数是不确定的,如果第一组就能代表原样本数据大部分的信息,那么一组就足够了。假设第一组反应的信息不够,我们才需要找第二组了。
    并且为了让第二组的信息更有效,需要保证两组信息不相关
    不 相 关 : c o v ( U 1 , U 2 ) = c o v ( V 1 , V 2 ) = 0 不相关:cov(U_{1},U_{2})=cov(V_{1},V_{2})=0 cov(U1,U2)=cov(V1,V2)=0
    **第一组要满足的条件:**在 v a r ( U 1 ) = v a r ( V 1 ) = 1 var(U_{1})=var(V_{1})=1 var(U1)=var(V1)=1满足的条件下,找到 a 1 a^{1} a1 b 1 b^{1} b1两组系数,使得 ρ ( U 1 , V 1 ) \rho(U_{1},V_{1}) ρ(U1,V1)最大
    为什么要固定这个条件呢?
    因为相关系数与量纲无关: ρ ( U 1 , V 1 ) = ρ ( a U 1 , b V 1 ) \rho(U_{1},V_{1})=\rho(aU_{1},bV_{1}) ρ(U1,V1)=ρ(aU1,bV1)

    2.3典型相关分析关键步骤1

    1. 数据的分布有假设:两组数据服从联合正态分布
      在实际分析应用中,总体的
      协差阵
      通常是未知的,往往需要从研究的总体中随机抽取一个样本,根据样本估计出总体的协差阵,并在此基础上进行典型相关分析在这里插入图片描述
    2. 首先要对两组变量的相关性进行检验(构造似然比统计量),p值小于0.05(0.1)表示在95%(90%)的置信水平下拒绝原假设,即认为两组变量有关
      在利用样本进行两组变量的典型相关分析时,应该就两组变量的相关性进行检验。这是因为,如果两个随机变量 X 1 、 X 2 X^{1}、X^{2} X1X2互不相关,则两组变量协差阵 C o v ( X ( 1 ) , X ( 2 ) ) = 0 Cov(X^{(1)},X^{(2)})=0 Cov(X(1),X(2))=0.但是有可能得到的两组变量的样本协差阵不为0.
      因此,在用样本数据进行典型相关分析的时候应该就两组变量的协差阵是否为0进行检验。即检验假设
      H 0 : ∑ 12 = 0 , H 1 : ∑ 12 ≠ 0 H_{0}:\sum_{12}=0, \qquad H_{1}:\sum_{12}\neq 0 H0:12=0,H1:12=0
      根据随机向量的检验理论可知,用于检验的似然比统计量为
      Λ 0 = ∣ ∑ ^ ∣ ∣ ∑ ^ 11 ∣ ∣ ∑ ^ 22 ∣ = Π i = 1 r ( 1 − λ ^ 2 ) \Lambda_{0}=\frac{\vert \hat{\sum} \vert}{\vert \hat{\sum}_{11}\vert \vert\hat{\sum}_{22}\vert}=\mathop\Pi\limits_{i=1}^{r}(1-\hat{\lambda}^{2}) Λ0=^11^22^=i=1Πr(1λ^2)
    3. 确定典型相关变量的个数(直接看典型相关系数对应的P值即可)
      如果总体典型相关系数 λ k = 0 \lambda_{k}=0 λk=0,则相应的典型变量 U k , V k U_{k},V_{k} Uk,Vk之间无相关关系,因此对于分析 X ( 1 ) X^{(1)} X(1) X ( 2 ) X^{(2)} X(2)的影响不起作用,这样的典型变量可以不予考虑,于是提出如何根据样本资料判断总体典型相关系数是否为零,以便确定应该取几个典型变量的问题。
      巴特莱特(Bartlett)提出了一个根据样本数据检验总体典型相关系数 λ 1 、 λ 2 、 . . . 、 λ r \lambda_{1}、\lambda_{2}、...、\lambda_{r} λ1λ2...λr是否等于零的方法。检验假设为:
      H 0 : λ k + 1 = λ k + 2 = . . . = λ r = 0 H 1 : λ k + 1 ≠ 0 用 于 检 验 的 似 然 比 统 计 量 为 : Λ k = Π i = k + 1 r ( 1 − λ i 2 ^ ) H_{0}:\lambda_{k+1}=\lambda_{k+2}=...=\lambda_{r}=0 \\ H_{1}:\lambda_{k+1}\neq 0 \\ 用于检验的似然比统计量为:\\ \Lambda_{k} = \mathop\Pi\limits_{i=k+1}^{r}(1-\hat{\lambda_{i}^{2}}) H0:λk+1=λk+2=...=λr=0H1:λk+1=0:Λk=i=k+1Πr(1λi2^)
    4. 利用标准化后的典型相关变量分析问题
      在这里插入图片描述
    5. 进行典型载荷分析
      在这里插入图片描述
      以上结果说明了生理指标的第一典型变量与体重的相关系数为**-0.621**,与腰围的相关系数为**-0.925**,与脉搏的相关系数为0.333,这个从另一方面说明了生理指标的第一对典型变量与体重、腰围负相关,而与脉搏正相关。其中与腰围的相关性最强,因此第一对典型变量主要反映了体形的胖瘦
    6. 计算前r个典型变量对样本总方差的贡献
      由上图计算得
      第 一 典 型 变 量 解 释 的 方 差 比 例 : ( 0.62 1 2 + 0.92 5 2 + 0.33 3 2 ) / 3 = 0.451 第 二 典 型 变 量 解 释 的 方 差 比 例 : ( 0.77 2 2 + 0.37 7 2 + 0.04 1 2 ) / 3 = 0.246 第 三 典 型 变 量 解 释 的 方 差 比 例 : ( 0.13 5 2 + 0.03 1 2 + 0.94 2 2 ) / 3 = 0.302 第一典型变量解释的方差比例:\\ (0.621^2 + 0.925^2 + 0.333^2)/3 = 0.451\\ 第二典型变量解释的方差比例:\\ (0.772^2 + 0.377^2 + 0.041^2)/3 = 0.246\\ 第三典型变量解释的方差比例:\\ (0.135^2 + 0.031^2 + 0.942^2)/3 = 0.302\\ (0.6212+0.9252+0.3332)/3=0.451(0.7722+0.3772+0.0412)/3=0.246(0.1352+0.0312+0.9422)/3=0.302

    三 SPSS操作步骤

    Spss至少需要24版本。低版本不能直接进行典型相关分析的操作,需要编程
    第一步:导入数据
    在这里插入图片描述
    第二步:检验数据的类型
    在这里插入图片描述
    第三步:点击菜单功能
    在这里插入图片描述
    第四步:将数据移动到对应的集合
    在这里插入图片描述
    第五步:导出分析结果
    在这里插入图片描述
    第六步:对结果进行分析
    在这里插入图片描述
    这里表格最后一列表示检验统计量所对应的p值,要通过它确定典型相关系数的个数,过关的只有第一对,将它对应的集合的相关系数表示为:在这里插入图片描述
    典型变量每个分量前面的系数代表重要程度,可以结合典型相关系数进行分析
    之后选择性的分析典型载荷和方差解释程度
    在这里插入图片描述


    1. 参考资料:厦门大学—多元统计分析第九章典型相关分析.ppt ↩︎

    展开全文
  • 数学建模——典型相关分析相关SPSS操作

    万次阅读 多人点赞 2019-10-31 08:44:26
    文章目录一、引述1.概念2.示例说明 一、引述 ...典型相关分析用于研究两组变量(每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。 2.示例说明 ...

    一、引述

    1.概念

    • 典型相关分析用于研究两组变量每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。
    • 在一元统计分析中,用相关系数来衡量两个随机变量之间的线性相关关系用复相关系数研究一个随机变量和多个随机变量的线性相关关系。然而,这些统计方法在研究两组变量之间的相关关系时却无能为力。比如要研究生理指标与训练指标的关系居民生活环境与健康状况的关系人口统计变量(户主年龄、家庭年收入、户主受教育程度)与消费变量(每年去餐馆就餐的频率、每年出外看电影的频率)之间是否具有相关关系 ?阅读能力变量(阅读速度、阅读才能)与数学运算能力变量(数学运算速度、数学运算才能)**是否相关?这些多变量间的相关性如何分析?

    2.何为两组变量呢?

    下图是测量的20名学生的生理指标与训练指标。第一组是生理指标变量,有体重、腰围和脉搏;第二组是训练指标变量,有引体向上次数、起坐次数和跳跃次数。要求测量生理指标与训练指标这两组变量之间的关系。
    示例
    在本题中,如果我们直接对这些变量(诸如体重、胸围等变量)的相关性进行两两分析,很难得到题干所要求的测量生理指标与训练指标这两组变量之间的关系。所以,我们引入一种新的分析方法:典型相关分析。

    3. 本文主要内容

    • 本文主要目的在于介绍典型相关分析的基本思想和解题步骤以及讲解如何使用SPSS24.0解决该类数学建模问题。
    • 如果要进行论文写作,我们需要掌握典型相关分析的原理及方法。这一部分,我将在后面的专栏中结合相关获奖论文进行说明。

    二、典型相关分析

    1. 基本思路

    • 在上例中,我们可以采用这样的解决思路:由于两组变量中都含有多个变量指标,每组变量中定然会有代表性的变量。这样,找到代表性的变量,我们便可以把 多个变量与多个变量之间的相关变成两个具有代表性的变量之间的相关
    • 代表性变量:能较为综合、全面的衡量所在组的内在规律。
    • 一组变量最简单的综合形式就是该组变量的线性组合

    2. 基本思想

    典型相关分析由Hotelling提出,其基本思想和主成分分析非常相似

    • 首先在每组变量中找出变量的线性组合,使得两组的线性组合之间具有最大的相关系数
    • 然后选取和最初挑选的这对线性组合不相关的线性组合,使其配对,并选取相关系数最大的一对。
    • 如此继续下去,知道两组变量之间的相关性被提取完毕为止。
    • 被选出的线性组合配对称为典型变量,它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间的强度。

    3. 基本思路

    • 一般情况下,假设
      在这里插入图片描述
      是两个相互关联的随机变量,分别在两组变量中选取若干有代表性的综合变量Ui、Vi,使得每一个综合变量是原变量的线性组合,即
      在这里插入图片描述

    • 当然,综合变量的组数是不确定的,如果第一组就能代表原样本数据大部分的信息,那么一组就足够了。如果第一组反映的信息不够,我们就需要找第二组数据。

    • 为了让所找到的第二组数据的信息更加有效,我们需要保证第二组数据和第一组数据不相关,即
      在这里插入图片描述

    • 对于数学的部分,我就不再过多阐述(无力.jpg)。感兴趣的同学可以自行查找资料。上面一点便是我们所要达到的终极目的。

    三、关键步骤(看不懂的话,可以先看四)

    1. 假设我们所研究的两组数据服从联合正态分布
    2. 对这两组变量的相关性进行检验(构造似然比统计量)
      • H0:两组变量的协差阵为0(两组变量无关);H1:两组变量的协差阵不为0(两组变量有关)
      • 用于检验的似然比统计量
        在这里插入图片描述
      • p值小于0.5(0.1)表示在95%(90%)的置信水平下拒绝原假设, 即认为两组变量有关。
    3. 确定典型相关变量的个数(直接看典型相关系数对应的p值即可)
    4. 利用标准化后的典型相关变量分析问题
      为了消除量纲和数量级别的影响,必须对数据先做标准化变换处理,然后再做典型相关分析。
    5. 进行典型载荷分析
    6. 计算前r个典型变量对样本总方差的贡献

    四、使用SPSS进行典型相关分析

    1.导入数据

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2. 检验数据类型

    在这里插入图片描述
    点击左下角的变量视图
    在这里插入图片描述
    在这里插入图片描述

    3. 对数据进行典型相关分析

    在这里插入图片描述
    在这里插入图片描述
    按照题干要求将变量进行分组(按住ctrl,可以进行多个选中)
    在这里插入图片描述
    之后便得到如下内容:
    在这里插入图片描述

    4.导出分析结果

    在这里插入图片描述
    在这里插入图片描述
    于是我们便在桌面上得到了该文件。
    在这里插入图片描述

    6.修改原文件中表格的名称

    1. 下面是刚打开的原文件表格名称
      在这里插入图片描述
    2. 将文件中的表格进行重新命名,以免在后续的操作造成干扰。
      • 将所有的集合1修改成生理指标,集合2修改成训练指标。
      • 修改表格名称:典型相关性 >>> 典型相关系数
      • 修改表格内容:相关性 >>> 相关系数;显著性 >>> p值
        在这里插入图片描述
        在这里插入图片描述
        在这里插入图片描述
        在这里插入图片描述
        注:以上图片,便是我们在建模中经常使用的表格。

    五、对结果进行分析

    1.分析典型相关系数表

    在这里插入图片描述

    • 该表格的最后一列代表着检验统计量所对应的p值我们需要通过它确定典型相关系数的个数。
    • 我们知道置信水平有三个:90%、95%、99%,其对应的显著性水平分别为 0.1、0.05、0.01.
    • 观察第一行的p值,我们发现 0.05 < 0.064 < 0.1. 因此,我们知道在95%的置信水平下,生理指标与训练指标之间不存在相关性;而在90%的置信水平下,生理指标与训练指标之间存在相关性,且第一对典型变量相关性显著
    • 我们接着观察后面两个p值:0.949和0.775。说明第二对和第三对典型变量相关性不显著。
    • 由此我们可以确定典型相关系数的个数为1,即第一对典型变量的相关系数。

    2. 分析标准化典型相关系数

    • 在该分析中,我们需要写出标准化的典型变量,其个数要根据上一个分析结果所得到的典型相关系数的个数来确定。

    • 在上一个分析结果中我们知道,我们知道我们只需要第一对典型变量的相关系数,因此我们可以将第二、三对的典型变量的相关系数删除。
      在这里插入图片描述
      由此,可得到的标准化的第一对典型变量:
      在这里插入图片描述
      其中, Zi(1)和Zj(2)分别为原始变量Xi和Yj标准化后的结果。

    • 典型变量每个分量前面的系数代表着重要程度,可结合典型相关系数进行分析。

    • 结论

      • 在生理指标中,由于X2(腰围)的绝对值最大,反映生理指标的典型变量主要由腰围决定;
      • 在训练指标中,由于Y2(起坐次数)的绝对值最大,说明训练指标的典型变量主要由起坐次数所决定。
      • 同时,由于两个典型变量中腰围和起坐次数的系数是异号的(腰围为负,起坐次数为正),反映腰围和起坐次数的负相关,即腰围越小则起坐次数越多。这和客观事实是相符的。

    3. 分析典型载荷

    说明:为了节省篇幅,在这里笔者只分析生理指标的典型载荷,读者可以模仿分析训练指标的典型载荷。

    1. 分析典型载荷的目的:进行典型载荷分析有助于更好解释分析已提取的p对典型变量所谓的典型载荷分析是指原始变量与典型变量之间相关性分析
      在这里插入图片描述
    2. 分析结果
      以上结果说明生理指标的第一典型变量与体重的相关系数为-0.621,与腰围的相关系数为-0.925,与脉搏的相关系数为0.333. 从另一方面说明生理指标的第一对典型变量与体重、腰围负相关,而与脉搏正相关。其中与腰围的相关性最强生理指标的第一对典型变量主要反映了体型的胖瘦

    4. 分析已解释的方差比例

    1. 分析目的
      在进行样本典型相关分析时,我们也想了解每组变量提取出的典型变量所能解释的该组样本总方差的比例,从而定量测度典型变量所包含的原始信息量的大小
      在这里插入图片描述
    2. 数据说明(从左到右)
      1. 生理指标被自身的典型变量解释的方差比例;
      2. 生理指标被训练指标的典型变量解释的方差比例;
      3. 训练指标被自身的典型变量解释的方差比例;
      4. 训练指标被生理指标的典型变量解释的方差比例。
    3. 分析结果
    • 生理指标样本方差由自身3个典型变量解释的方差比例分别为:
      • 第一典型变量解释的方差比例:0.451;
      • 第二典型变量解释的方差比例:0.246,
      • 第三典型变量解释的方差比例:0.302;
    • 训练指标样本方差由自身3个典型变量解释的方差比例分别为:
      • 第一典型变量解释的方差比例:0.408;
      • 第二典型变量解释的方差比例:0.434;
      • 第三典型变量解释的方差比例:0.157;

    六、资料链接

    1. 资料内容:health.xlsx
      链接:https://pan.baidu.com/s/1r3JujIEG3PCfc-K5WskAag
      提取码:3exf
    展开全文
  • 简单相关系数 简单相关系数的代码实现 1.XY都是随机变量,地位对称 2.相关系数只反映两变量之间线性相关的程度,不能说明其非线性相关关系。 3.虽能度量相关关系,但是不能度量变量间的因果关系 公式 library('...

    简单相关系数

    简单相关系数的代码实现
    1.XY都是随机变量,地位对称
    2.相关系数只反映两变量之间线性相关的程度,不能说明其非线性相关关系。
    3.虽能度量相关关系,但是不能度量变量间的因果关系
    公式
    在这里插入图片描述

    library('charlatan') # 造假数据的包
    # 创建10个名
    name = ch_name(10)
    
    # 创建10个均分分布的数据 看看直方图
    # 产生数据
    set.seed(1) # 保持每次产生数据已知
    x1 = ch_unif(10)
    hist(x1,breaks = 4)
    x2 = ch_unif(10)/200
    hist(x2,breaks = 4)
    y = 0.5*x1+0.14*x2+rnorm(1) # 加噪声
    
    
    # 法1
    # 计算相关系数
    fun_rxy = function(x,y){
      x_bar = mean(x)
      y_bar = mean(y)
      print(x_bar)
      print(y_bar)
      fenzi = sum((x-x_bar)*(y-y_bar))
      print(fenzi)
      fenmu = sqrt(sum((x-x_bar)^2)*sum((y-y_bar)^2))
      print(fenmu)
      r_xy = fenzi/fenmu
      print('相关系数为:')
      print(r_xy)
    }
    fun_rxy(x1,y)
    
    # 法2
    ## pearson系数
    pearson<-function(x,y){
      xp<-sum(x)/length(x)
      yp<-sum(y)/length(y)
      f1 = f2 = f3 = 0
      for (i in 1:length(x)){
        f1 = f1 + (x[i]-xp)*(y[i]-yp)
        f2 = f2 + (x[i]-xp)^2
        f3 = f3 + (y[i]-yp)^2
      }
      cor = f1/(sqrt(f2)*sqrt(f3))
      
      return(cor)
    }
    pearson(x1,y)
    
    
    cor(x1,y,method = "pearson")
    

    偏相关系数

      设x1 ,x2,y是三个变量,如果要计算x2给定的条件下, x1 和y的相关系数,应该用偏相关系数更合理,那么偏相关系数为: 
    

    公式:
    在这里插入图片描述

    #-------------偏相关系数
    #R语言包里面有 偏相关系数
    library(ggm)
    df = data.frame(x1,x2,y)
    jsbl = c(1,3) # x1,y计算相关系数
    kzbl = c(2) # x2下标是控制变量
    con = c(jsbl,kzbl)
    c1 = cov(df) # 协方差
    
    pcor1 = function (u, S) 
    {
      k <- solve(S[u, u],tol=2e-21)
      k[1, 2]/sqrt(k[1, 1] * k[2, 2])
    }
    pcor1(con,c1) # 偏相关
    
    # 法2
    r_yx1x2 = (cor(x1,y)-cor(x2,y)*cor(x1,x2))/(sqrt(1-cor(x2,y)^2)*sqrt(1-cor(x1,x2)^2))
    r_yx1x2
    

    spearman相关系数

    在给定一列数对(x1,y1),····,(xn,yn)之后,要检验他们所代表的二元变量X和Y是否相关。首先将X和Y的观测值分别排序,分别得各自得秩统计量,Spearman相关检验的含义是直接对秩统计量计算相关系数,即计算R和S的相关系数 :
    公式:
    在这里插入图片描述
    其中:
    其中

    #------------spearman----
    # 法1
    ##  spearman系数
    cor(x,y,method = "spearman")
    spearman<-function(x,y){
      u<-rank(x)
      v<-rank(y)
      up<-sum(u)/length(u)
      vp<-sum(v)/length(v)
      f1 = f2 = f3 = 0
      for (i in 1:length(u)){
        f1 = f1 + (u[i]-up)*(v[i]-vp)
        f2 = f2 + (u[i]-up)^2
        f3 = f3 + (v[i]-vp)^2
      }
      cor = f1/(sqrt(f2)*sqrt(f3))
      
      return(cor)
    }
    spearman(x1,y)
    
    
    #法2
    ##  spearman系数
    f1 = 0
    cor(x1,y,method = "spearman")
    spearman<-function(x,y){
      n<-length(x)
      u<-rank(x)
      v<-rank(y)
      f1 = f2 = f3 = 0
      for (i in 1:n){
        f1 = f1 + (u[i]-v[i])^2
      }
      cor = 1-6*f1/(n*(n^2-1))
      
      return(cor)
    }
    spearman(x1,y)
    
    

    复相关系数

          简单相关系数和偏相关系数实际上均是讨论两个变量的关系,但常常我们会讨论一个变量和一组变量的相关,这叫复相关系数。实际上一个变量和一组变量的复相关是以这个变量为被解释变量,以这组变量为回归因子,建立回归模型的可决系数R2. 
    

    总体典型相关

    我用内置的检验,老是发现不对,也不知道错在哪里!

    #--------------典型相关系数和典型变量求解
    ## 定义函数,求两个矩阵的典型变量和典型相关系数
    My.rtest = function(x,y){
      # 计算相关系数矩阵
      R11 = cov(x)
      R12 = cov(x,y)
      R21 = cov(y,x)
      R22 = cov(y)
      
      M1 = solve(R11)%*%R12%*%solve(R22)%*%R21
      M2 = solve(R22)%*%R21%*%solve(R11)%*%R12
      
      #使用函数eigen()计算特征值和特征向量
      ev1 = eigen(M1) 
      ev2 = eigen(M2) 
      
      lamda0 = ev1$val #访问列表values项,即特征值
      lamda = sqrt(lamda0) #典型相关系数
      
      #a_k = solve(R11)^(0.5)%*%ev1$val
      #b_k = (1/lamda[1])*solve(R22)^(0.5)%*%R21%*%lamda
      alpha = ev1$vec #访问列表vectros项,即特征向量
      beta = ev2$vec #访问列表vectros项,即特征向量
      
      #求典型变量u和v的系数
      u = t(alpha) #第k行即第k个典型变量的系数
      v = t(beta) #第k行即第k个典型变量的系数
      #print(a_k)
      #u = t(a_k)%*%x
      #v = t(b_k)%*%y
      
      
      result = list(lamda=lamda,u=u,v=v)
      print(result)
    }
    
    #随机产生数据矩阵
    #x1 = matrix(runif(10,0,5),10)
    #x2 = matrix(runif(10,0,10),10)
    #x = cbind(x1,x2)
    
    #y1 = matrix(runif(10,-2,5),10)
    #y2 = matrix(runif(10,3,6),10)
    #y3 = matrix(runif(10,-10,6),10)
    #y =cbind(y1,y2,y3)
    
    x1=c(191, 193, 189, 211, 176, 169, 154, 193, 176, 156, 189, 162, 182, 167, 154, 166, 247, 202, 157, 138)
    x2=c(36, 38, 35, 38, 31, 34, 34, 36, 37, 33, 37, 35, 36, 34, 33, 33, 46, 37, 32, 33)
    x3=c(50, 58, 46, 56, 74, 50, 64, 46, 54, 54, 52, 62, 56, 60, 56, 52, 50, 62, 52, 68)
    x = scale(cbind(x1,x2,x3))
    y1=c( 5, 12, 13,  8, 15, 17, 14,  6,  4, 15, 2, 12,  4,  6, 17, 13,  1, 12, 11,  2)
    y2=c(162, 101, 155, 101, 200, 120, 215,  70,  60, 225, 110, 105, 101, 125, 251, 210,  50, 210, 230, 110)
    y3=c(60, 101, 58, 38, 40, 38, 105, 31, 25, 73, 60, 37, 42, 40, 250, 115, 50, 120, 80, 43)
    y = scale(cbind(y1,y2,y3))
    
    
    #调用该函数
    My.rtest(x,y)
    
    # R语言内置检验
    ca = cancor(x,y)
    ca
    
    
    展开全文
  • 可以实现模式识别领域的数据的分类及回归,外文资料里面的源代码,实现典型相关分析,车牌识别定位程序的部分功能,使用拉亚普诺夫指数的公式,有PMUSIC 校正前和校正后的比较,是国外的成品模型,线性调频脉冲压缩...
  • 一、典型相关分析VS皮尔逊相关系数/斯皮尔曼相关系数 典型相关分析(Canonical Correlation analysis) 研究两组变量(每组变量中都可能有多个指标) 之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的...
  • 典型相关分析 CCA

    千次阅读 2020-12-23 01:21:10
    最近有小伙伴在问我一个数据分析的问题, 做毕设, 实证分析. 不知道改如何处理数据.看了下设计的量表大致是这样的, 都是 5级的里克特量表, 大致分为两波, X, Y. 小伙伴认为就只有两个变量, 这是从商业理论上来认识的,...
  • 1、pearson相关系数在日常中,我们经常会遇到一些关于相关性的分析,例如,一个人每日的运动量与他体重之间的相关性,一支股票的价格与该公司的盈利状况的相关性等等。在上述两种情况下,我们给出的结论一般是,一个...
  • 典型相关分析(CCA)简述

    千次阅读 2020-10-24 09:44:18
    文章目录前言一、算法原理二、举个例子三、CCA算法计算步骤四、编程实例1.引入库总结 ... 在一元统计分析中,用相关系数来衡量两个随机变量的线性相关关系,用复相关系数研究一个随机变量与多个随机变量的
  • 算法篇----典型相关分析(CCA)理论

    万次阅读 2015-01-28 17:22:14
     实际问题中,常常需要研究多个变量之间的相关关系,这个时候,可以试下典型相关分析(Canonical Correlation Analysis)。这种算法由H·Hotelling于1936 年提出,在19世纪 70 年代臻于成熟。早期因为需要大量的...
  • 典型相关分析原理(CCA)

    万次阅读 多人点赞 2020-01-21 12:29:17
    CCA典型相关分析 (canonical correlation analysis)利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是:为了从总体上把握两组指标之间的相关关系,分别在两组变量中...
  • R语言 相关分析典型相关分析

    千次阅读 2019-03-19 09:14:07
    @R语言相关分析典型相关分析 #相关分析典型相关分析 #pearson相关系数 a=c(1,3,5,7,9);b=c(1,4,6,9,10) cor(a,b) #pearson相关系数 cor.test(a,b) #检验相关系数的显著性 cor(iris[1:4]) #相关系数,参数填数据集...
  • 开始典型相关性分析分析导入两组数据导出结果典型相关系数(修改)p值和显著性水平进行比较线性组合系数(修改)最后的结果系数典型相关分析应用中的几个问题 解决问题 研究两组变量之间的相关关系 定义 例子 题目...
  • 主成分分析典型相关分析 判别分析 聚类分析 Bayes统计分析 4.1主成分分析 4.1.1总体主成分的求法   求主成分归结为求样本(XXX)的协方差矩阵Σ\SigmaΣ的特征值和特征向量问题,具体由如下结论:   设Σ\...
  • 典型相关分析(canonical correlation analysis,CCA)

    千次阅读 多人点赞 2020-05-07 10:44:57
    一、什么是典型相关分析 通常情况下,为了研究两组变量 {X=(x1,x2,⋯ ,xp)Y=(y1,y2,⋯ ,yq) \left\{ \begin{array}{l} X=\left( x_1,x_2,\cdots ,x_p \right)\\ \\ Y=\left( y_1,y_2,\cdots ,y_q \right)\\ \...
  • 一、PCA主成分分析: 1.我们希望对数据进行有损压缩,即将属于R^n的x投影为属于R^l的c,有编码函数f(x)=c,使得损失的信息尽量少。同时有对应的解码函数g(c)约等于x。 2.PCA由我们确定的解码函数而定,为了简化...
  • 目录简介和标准相关分析的区别欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中...
  • 典型相关分析相关知识

    千次阅读 2017-07-18 20:06:58
    1. 典型相关分析相关知识1.1介绍 典型相关分析是用来分析向量(组)X和Y之间映射关系的方法。 一般的线性回归问题中,都具有一个或多自变量X和因变量Y,其数学表达形式为:假设 X∈Rm,Y∈RmX\in{R^m},Y\in{R^m},...
  • (可以看出与自相关公式差不多,其实互相关分析就是两个时间序列在不同时刻暴力套上自相关系数公式…大概可以这么理解) 在r中用ccf函数可以计算 这里以r中自带的airmiles数据集和LakeHuron(1937-1960年)进行...
  • 为此,发现了多元回归和典型相关之间的新关系。 随后,构造了其等效最小二乘类型公式,然后可以直接应用完善的自适应 LASSO 类型惩罚和新的 BIC 类型选择准则。 理论结果表明,所得估计量不仅对预测变量而且对响应...
  • 典型相关分析 PPT

    2009-09-15 16:50:13
    介绍了典型相关分析的定义 计算 和假设检验
  • 典型相关分析matlab实现代码 常见Sketch&BloomFilter算法 Per-flow measurement指在网络交换机或者路由器测量某个流的某些信息。最典型的是流量测量,即这个流有多少包/字节经过这个交换机。 Notice: 本说明中的公式...
  • 典型相关分析(CanonicalCorrelationanalysis)研究两组变量(每组变量中都可能有多个指标)之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。 例题: 直接对这些变量的相关进行两两...
  • 典型分析

    2019-05-04 18:57:09
    李尚志老师的关于典型分析的文章的一部分,典型分析作为群论的一个研究方向,是研究生的课程,李尚志老师在此方面有独到的讲解方式。
  • 典型相关分析的基本思想 Canonical Correlation Analysis   CCA典型相关分析 (canonical correlation analysis)利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理...
  • 1.典型相关分析和奇异值分解之间的关系 典型相关分析研究的是两个随机向量之间的相关性,例如如果有向量Y={Y1,...,YK}Y={Y1,...,YK}Y=\{Y_1,...,Y_K\}和X={X1,...,XM}X={X1,...,XM}X=\{X_1,...,X_M\},目的是需要...
  • (1)在二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式:(2) 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦类似的,对于两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2...
  • 看文章《科学学研究》2010年8月一片文章时,看到典型相关分析的研究,顿时傻了,过去没学过啊。看别人还是用spss做的统计分析就更傻了,好像没哪个老师讲过这个分析。有点云里雾里。还是赶紧学习一下吧。最后那个sas...
  • 典型相关分析

    千次阅读 2014-11-04 10:18:54
    [pdf版本] 典型相关分析.pdf 1. 问题 在线性回归中,我们使用直线来拟合样本点,寻找n维特征向量X和输出结果(或者叫做label)Y之间的线性关系。其中。然而当Y也是多维时,或者说Y也有多个特征时,我们希望分析...
  • 并可根据已知的数值,通过调整方程的参数,得出目前所有典型摩阻系数方程给出的计算值。但GERG摩阻系数方程为摩阻系数λ的隐式方程,求解过程较复杂,因此提出了该方程的显式形式,显式公式的验证计算表明:新公式的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 70,204
精华内容 28,081
关键字:

典型相关系数公式