典型相关分析系列博文：

 

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析



习题

某调查公司从一个大型零售公司随机调查了 784 人，测量了 5 个职业特性指标和 7 个职业满意变量，有关的变量见表 19。讨论两组指标之间是否相联系。





        一些计算结果的数据见下面的表格。





 







计算的MATLAB程序如下

clc,clear
load da.txt %原始的相关系数矩阵保存在纯文本文件da.txt中
%r为相关系数矩阵
r=da;
n1=5;n2=7;num=min(n1,n2);
s1=r(1:n1,1:n1);
s12=r(1:n1,n1+1:end); 
s21=s12';
s2=r(n1+1:end,n1+1:end);
m1=inv(s1)*s12*inv(s2)*s21;
m2=inv(s2)*s21*inv(s1)*s12;
[x1,y1]=eig(m1);
%以下是特征向量归一化，满足a's1a=1
gu1=x1'*s1*x1;
gu1=sqrt(diag(gu1)); %求典型相关系数
gu1=gu1'.*sign(sum(x1)); %每个特征向量的最大分量为正
gu1=repmat(gu1,length(gu1),1);
a=x1./gu1;
y1=diag(y1); %取出特征值
[y1,ind1]=sort(y1,'descend'); %特征值按照从大到小排列
a=a(:,ind1(1:num)) %取出X组的系数阵
y1=sqrt(y1(1:num)) %计算典型相关系数
flag=1;
xlswrite('bk1.xls',a,'Sheet1','A1') %把计算结果写到Excel文件中去
flag=n1+2;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',y1','Sheet1',str)
[x2,y2]=eig(m2);
%以下是特征向量归一化，满足b's2b=1
gu2=x2'*s2*x2;
gu2=sqrt(diag(gu2));
gu2=gu2'.*sign(sum(x2));
gu2=repmat(gu2,length(gu2),1);
b=x2./gu2;
y2=diag(y2);
[y2,ind2]=sort(y2,'descend');
b=b(:,ind2(1:num))
y2=sqrt(y2(1:num)) %计算典型相关系数
flag=flag+2;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',b,'Sheet1',str)
flag=flag+n2+1;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',y2','Sheet1',str)
x_u_r=s1*a; %x,u的相关系数
x_u_r=x_u_r(:,1:num) 
flag=flag+2;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',x_u_r,'Sheet1',str)
y_v_r=s2*b; %y,v的相关系数
y_v_r=y_v_r(:,1:num)
flag=flag+n1+1;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',y_v_r,'Sheet1',str)
x_v_r=s12*b; %x,v的相关系数
x_v_r=x_v_r(:,1:num)
flag=flag+n2+1;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',x_v_r,'Sheet1',str)
y_u_r=s21*a; %y,u的相关系数
y_u_r=y_u_r(:,1:num)
flag=flag+n1+1;
str=char(['A',int2str(flag)]);
xlswrite('bk1.xls',y_u_r,'Sheet1',str)
mu=sum(x_u_r.^2)/n1 %x组原始变量被u_i解释的方差比例
mv=sum(x_v_r.^2)/n1 %x组原始变量被v_i解释的方差比例
nu=sum(y_u_r.^2)/n2 %y组原始变量被u_i解释的方差比例
nv=sum(y_v_r.^2)/n2 %y组原始变量被v_i解释的方差比例


习题

1．表 33 是 1999 年中国省、自治区的城市规模结构特征的一些数据，试通过聚类 分析将这些省、自治区进行分类。





2. 表 34 是我国 1984—2000 年宏观投资的一些数据，试利用主成分分析对投资效 益进行分析和排序。







4．为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变 量：



已知相关系数矩阵见表36，试对两组变量之间的相关性进行典型相关分析。





5．近年来我国淡水湖水质富营养化的污染日趋严重，如何对湖泊水质的富营养化 进行综合评价与治理是摆在我们面前的一项重要任务。表 37 和表 38 分别为我国 5 个湖 泊的实测数据和湖泊水质评价标准。



（1）试利用以上数据，分析总磷、耗氧量、透明度和总氮这 4 种指标对湖泊水质 富营养化所起作用。

（2）对上述 5 个湖泊的水质进行综合评估，确定水质等级。

典型相关分析系列博文：

 

典型相关分析（Canonical correlation analysis）（一）：基本思想 、复相关系数、偏相关系数

典型相关分析（Canonical correlation analysis）（二）：原始变量与典型变量之间的相关性 、典型相关系数的检验

典型相关分析（Canonical correlation analysis）（三）： 职业满意度典型相关分析案例

典型相关分析（Canonical correlation analysis）（四）： 中国城市竞争力与基础设施的相关分析



 

http://www.datasoldier.net/post/44.html


相关分析，两个变量之间密切程度的一种常见统计分析方法，能够简单有效说明两变量间存在什么关系，这些关系的常见描述语句有：线性相关、正相关、负相关等。

【数据集说明】

某公司员工的基本情况，数据集含3列，分别为：性别、年龄、工资，现在希望了解员工年龄和工资水平之间的关系（企业人事部门的读者可关心一下）。

 



 【SPSS相关分析过程】

1、菜单操作：分析、相关、双变量

 

 


2、结果

 

相关分析的原假设是两两之间不相关，现在sig=0.002，原假设不可能发生，即得出年龄与工资水平有极显著的相关关系，且随着年龄的增加，工资会逐渐下降，老无所养吧。这个结论苍白无力，即使不用统计分析，看看身边的人其实也能想差不多明白。

3、再提高一步

在探索性数据分析阶段，分组对比分析非常重要，在分组变量的细分之下，往往能够发现意想不到的结论。我们讨论一下不同性别的员工，其年龄和工资的关系，男女在这方面有区别吗？

（1）首先用性别变量将数据集拆分为男女两部分：数据，拆分文件

 

 


（2）继续进行相关分析步骤，结果如下：


 

可见，实际上是女性的年龄与工资水平有着极显著的负相关关系，而男性却不存在这样的关系，在实际工作生活当中，这个结论也基本符合实际。

【相关分析可视化效果】

表不如图，最能体现相关关系的图是散点图。

  

 

通过散点图，可以在相关分析之前对两者之间的关系做一个相对比较直观的判断，如果得到相关分析的验证，效果更佳。

总结语：

1、相关分析属于数据分析流程前端的探索性分析，探究变量间关系及性质，其结果在于指导下一步采取何种方法，是数据挖掘之前的基础工作；

2、两两之间有相关关系，但不一定是因果关系，也可能仅是伴随关系，反过来，两两之间存在因果关系，那么两者之间必然相关；

3、相关分析之前，有必要搞清楚变量的类型，根据具体类型选择合适的相关系数。Pearson相关系数适用于两变量的度量水平都是尺度数据，并且两变量的总体是正态分布或者近似正态分布的情况，还有说法认为其样本量应大于30，可供参考，在这些条件之外的，考虑选择spearman系数或者kendall系数。

4、分组对比分析是发现问题的好方法；

5、散点图是相关分析的最直接有效的可视化方法。

	

在之前的推文中我向大家介绍过双变量相关分析、偏相关关系等，今天我们来了解一种新的相关关系——典型相关。我们在进行相关性研究时，经常需要考察多个变量与多个变量之间，即两组变量之间的相关性，并研究它们之间的相关系数。例如，某个城市的经济发展水平与居民生活水平间的相关关系；儿童生长发育与身体素质之间的相关关系；学习能力与自控力的相关关系等。典型相关分析在实证研究中有广泛的运用，常常被作为结构方程模型研究的基础步骤。典型相关分析方法的基本思想和主成分分析非常相似，即根据变量间的相关关系，寻找一个或少数几个综合变量(实际观察变量的线性组合)用来替代原变量，从而将二组变量的关系集中到少数几对综合变量的关系上，提取时要求第一对综合变量间的相关性最大，第二对次之，以此类推。这些综合变量被称为典型变量，第一对典型变量间的相关系数则被称为第一典型相关系数。典型相关系数度量了这两组变量之间联系的强度。典型相关模型的基本假设：两组变量间是线性关系，每对典型变量之间是线性关系，每个典型变量与本组变量之间也是线性关系；在所有的线性组合中，找一对相关系数最大的线性组合，用这个组合的单相关系数来表示两组变量的相关性，叫做两组变量的典型相关系数，而这两个线性组合叫做一对典型变量。典型相关还要求各组内变量间不能有高度的复共线性。典型相关分析的思路：典型相关分析需满足的条件：典型相关分析是在原始数据满足一定条件和假设的前提下进行的，这些条件包括原始变量要服从多元正态分布，样本容量至少要大于原始变量个数(一般为变量个数的10 ~20 倍)，这些假设包括两组变量之间要具有相关性，每组原始变量中能够综合出典型变量, 即原始变量组内要有一定的相关性等。若这些条件和假设无法满足，就不能进行典型相关分析。
案例操作演示
下面我将用一个简单的案例向大家介绍如何在SPSS中进行典型相关分析。下图是案例数据截图：案例数据中记录了受访者对某城市各方面的满意程度，其中，现代建筑、多元文化、生态环境被归为了生态与人文维度(红色框选)，舒适性和安全性被归为了安全与舒适维度(橙色框选)，我希望对这两个维度的进行典型相关关系。注意事项：本操作使用的是SPSS25.0版本，SPSS老版本应该不能直接进行典型相关分析。如果新版本也不能进行典型相关分析，那可能是没有安装Python扩展。分析步骤：点击菜单分析 -> 相关 -> 典型相关性，将安全与舒适维度选入集合1，生态与人文维度选入集合2；(两组变量的地位相等)点击选项复选按钮，勾选显示框中的所有选项；点击继续，点击确定。对话框如下图所示：
输出结果解析
(1)相关系数矩阵上图反映了各变量间的相关系数，从中可以知道各变量间的相关程度。从整体相关系数矩阵来看，两组变量内部，以及各变量之间的相关系数都不小，相关系数在0.490~0.714之间。(2)典型相关的描述统计上图为典型相关系数表，其中给出了两个集合的具体变量，其中集合1内的元素有现代建筑、多元文化、生态环境，集合2内的元素有舒适性和安全性；其中进行典型相关性分析的有2个数据对。(3)典型相关系数及其检验上图给出的是典型相关系数及其检验，结果表明只有第一个典型相关系数是显著的(P=0.000<0.001)，它的相关系数是0.720。因此，我们只需要对第一个典型相关变量进行解释。(4)典型变量系数上图为典型变量的系数表，有标准典型相关系数和未标准典型相关系数两类。选择看哪种典型变量系数表，取决于研究变量的单位，如果单位相同，则看未标准化的典型相关系数，如果单位不同，则看标准化后的典型相关系数。本例中，这些变量的单位都相同，因此我们选择未标准化的典型相关系数，即橙色框选的部分。由此，我们可以得出第一对典型变量由标准化数据组成的计算公式：U1=-0.452*现代建筑-0.195*多元文化-0.690*生态环境V1=-0.891*舒适性-0.340*安全性并且u1和v1的相关系数为0.720，有较强的正相关性。通过以上表达式，可以看出U1 主要受生态环境的影响较大；V1主要受舒适性的影响较大。可以发现，标准典型相关系数都是负的，这导致典型变量的现实含义不好解释；出现这种情况可能是由于前面提到的变量内部的相关关系较大，导致本案例数据建立的典型相关模型的效果不佳。(5)典型负荷系数和交叉负荷系数典型负荷系数也称为结构相关系数，指的是一个典型变量与本组所有变量的简单相关系数。交叉负荷系数指的是一个典型变量与另一组变量各个变量的简单相关系数。上图的典型负荷系数表(红框)说明生态与人文维度的第一典型变量与现代建筑的相关系数为-0.836，与多元文化的相关系数为-0.779，与生态环境的相关系数为-0.928。从另一方面说明生态与人文维度与它的各变量之间均为负相关，其中与生态环境的相关性最强。安全与舒适维度同理。交叉负荷系数(橙框)说明现代建筑与集合2的第一个典型变量的相关性是-0.602，多元文化与集合2的第一个典型变量的相关性是-0.561，生态环境与集合2的第一个典型变量的相关性是-0.668。集合2的交叉负荷系数表解读方式同理。(6)已解释的方差比例上图中包括组内代表比例和交叉解释比例，是典型相关分析中的重要组成部分。从该表可知，生态与人文维度被自身的第一典型变量解释了72.2%，安全与舒适维度被自身的第一典型变量解释了83.4%；生态与人文维度被安全与舒适维度的第一典型变量解释了37.4%，安全与舒适维度被生态与人文维度的第一典型变量解释了43.2%。总体来说，自变量的解释能力较好。

文章来源于"脑机接口社区"CCA典型关联分析原理与Python案例​mp.weixin.qq.com
Rose今天分享一下CCA的相关原理以及Python应用，CCA在EEG等脑电数据的特征提取中使用很多，很有必要熟悉其原理。
CCA典型相关分析
CCA(canonical correlation analysis)利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1(分别为两个变量组中各变量的线性组合)，利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
1936年，Hotelling提出典型相关分析。考虑两组变量的线性组合, 并研究它们之间的相关系数p(u,v).在所有的线性组合中, 找一对相关系数最大的线性组合, 用这个组合的单相关系数来表示两组变量的相关性, 叫做两组变量的典型相关系数, 而这两个线性组合叫做一对典型变量。在两组多变量的情形下, 需要用若干对典型变量才能完全反映出它们之间的相关性。下一步, 再在两组变量的与u1,v1不相关的线性组合中, 找一对相关系数最大的线性组合, 它就是第二对典型变量, 而且p(u2,v2)就是第二个典型相关系数。这样下去, 可以得到若干对典型变量, 从而提取出两组变量间的全部信息。
典型相关分析的实质就是在两组随机变量中选取若干个有代表性的综合指标(变量的线性组合), 用这些指标的相关关系来表示原来的两组变量的相关关系。这在两组变量的相关性分析中, 可以起到合理的简化变量的作用; 当典型相关系数足够大时, 可以像回归分析那样, 由- 组变量的数值预测另一组变量的线性组合的数值。
原理描述
案例实现
# 导入工具包
import h5py
import rcca
import sys
import numpy as np
import cortex
zscore = lambda d: (d-d.mean(0))/d.std(0)
第一步：加载数据
请从CRCNS下载数据：http://crcns.org/data-sets/vc/vim-2以下分析假定该数据位于当前目录中名为“ data”的目录中。
data = []
vdata = []
numSubjects = 3
# subjects 是3个受试者列表.
subjects = ['S1', 'S2', 'S3']
# xfms 是Pycortex中变换名称的列表，该名称用于对齐每个受试者的功能和解剖数据。
xfms = ['S1_xfm', 'S2_xfm', 'S3_xfm']
dataPath ="./data/VoxelResponses_subject%d.mat"
for subj in range(numSubjects):
# 打开数据
f = h5py.File(dataPath % (subj+1),'r')
#  获取数据大小
datasize = (int(f["ei"]["datasize"].value[2]),int(f["ei"]["datasize"].value[1]),int(f["ei"]["datasize"].value[0]))
# 从Pycortex获取皮质面罩
mask = cortex.db.get_mask(subjects[subj], xfms[subj], type = 'thick')
# 获取该受试者的训练数据
data_subj = np.nan_to_num(zscore(np.nan_to_num(f["rt"].value.T)))
data.append(data_subj.reshape((data_subj.shape[0],)+datasize)[:, mask])
# 获取受试者的验证数据
vdata_subj = np.nan_to_num(zscore(np.nan_to_num(f["rv"].value.T)))
vdata.append(vdata_subj.reshape((vdata_subj.shape[0],)+datasize)[:, mask])
第二步：定义CCA参数
# 这里设置1e-4和1e2之间的一系列正则化值
regs = np.array(np.logspace(-4, 2, 10))
# 这里考虑3到10之间的成分数量
numCCs = np.arange(3, 11)
# 初始化cca模型
cca = rcca.CCACrossValidate(numCCs=numCCs, regs=regs)
第三步：对数据训练，分析并保存分析结果
"""
说明：
由于数据量大，此分析的计算量很大。
在笔记本中运行它会花费大量时间，因此建议对其进行并行化和/或在计算机群集上运行它，然后加载结果以进行可视化。
"""
# 利用cca训练数据
cca.train(data)
# 利用cca对验证数据进行验证
cca.validate(vdata)
# 计算方差，解释每个体素中的验证响应
cca.compute_ev(vdata)
# 保存分析结果
cca.save("./data/CCA_results.hdf5")
第四步：可视化分析结果
# 导入可视化工具包
%matplotlib inline
import matplotlib.pyplot as plt
# 导入Brewer色彩图以进行可视化
from brewer2mpl import qualitative
nSubj = len(cca.corrs)
nBins = 30
bmap = qualitative.Set1[nSubj]
f = plt.figure(figsize = (8, 6))
ax = f.add_subplot(111)
for s in range(nSubj):
# 绘制所有三个对象的所有体素之间的相关性直方图
ax.hist(cca.corrs[s], bins = nBins, color = bmap.mpl_colors[s], histtype="stepfilled", alpha = 0.6)
plt.legend(['Subject 1', 'Subject 2', 'Subject 3'], fontsize = 16)
ax.set_xlabel('Prediction correlation', fontsize = 20)
ax.set_ylabel('Number of voxels', fontsize = 20)
ax.set_title("Prediction performance across voxels", fontsize = 20)
# p <0.05时的显着性阈值(针对多次比较进行了校正)
# 重要性是使用渐近方法计算的(有关详细信息，请参见论文文本)
thresh = 0.0893
ax.axvline(x = thresh, ymin = 0, ymax = 7000, linewidth = 2, color = 'k')
ax.text(thresh+0.05, 5000, 'p<0.05', fontsize = 16)
ax.set_xticklabels(0.1*np.arange(-8, 11, 2), fontsize = 16)
ax.set_yticklabels(np.arange(0, 10000, 1000), fontsize = 16)
该图显示了皮质图上一个对象的跨学科预测结果，即预测的验证响应和实际的验证响应之间的相关性。不重要的相关性(p <0.05，已针对多个比较进行校正)设置为0。
import cortex
from matplotlib import cm
from copy import deepcopy
subj = 0
subjName = "S1"
subjTransform = "S1_xfm"
corrs = deepcopy(cca.corrs[subj])
# 将所有低于显着性阈值的体素设置为0
corrs[corrs
_ = cortex.quickflat.make_figure(cortex.Volume(corrs, subjName,
subjTransform,
cmap = cm.PuBuGn_r,
                                               vmin = 0., vmax = 1.), with_curvature = True)
参考点击上面动图扫描二维码，关注我们