一、作用

对应分析，又称为 R-Q 型因子分析，适用于有多个类别的分类变量，可以揭示同一个变量各个类别之间的差异，以及不同变量各个类别之间的对应关系，与卡方检验不同的是，对应分析不单单展示了不同分组的差异性，也能通过 2 维、3 维的方式展示其在空间的关系。

二、例子

 

总统计量等于383.8563，总统计量的96.04%可用前一维即可说明，它表示行点和列点之间的关系用一维表示就足够了。 

选取几个维数对结果进行分析，需结合实际情况，一般解释量累积达85%以上即可获得较好的分析效果。

由表10.43可以看出，第一维显示6门学科（样品）授予博士学位数目的变化方向；同时也可看出：在第一维中坐标最大的样品点（0.1100）所对应的学科是“行为科学”，该学科授予博士学位的数目是随年度的变化而上升的；“生命科学”和“社会科学”变化不大；而另外三个学科授予博士学位的数目是随年度的变化而下降的。

 

 由表10.44可以看出，第一维显示出6个年度（变量）授予博士学位的数目随年份的增加而递增的变化方向。

 从散布图可看出，6个行点和6个列点可以分为三类：第一类包括“行为科学（B）”，它在1978年授予的博士学位数目的比例最大；第二类包括“社会学（S）”和“生命科学（L）”，它们在1975年至1977年授予的博士学位数目的比例都是随年度下降；第三类包括“物理学（P）”、“工程学（E）”和“数学（M）”，它们在1973年和1974年这两年授予的博士学位数目的比例最大。

第二类的结论是通过行坐标得出“生命科学”和“社会科学”变化不大和而列坐标得出第一维显示出6个年度（变量）授予博士学位的数目随年份的增加而递增的变化方向而得出

%对应分析
clc, clear, close all, format long g
a=readmatrix('F:\数学建模\数学建模算法与应用（第3版）源程序\程序及数据\10第10章  多元分析\data10_17_1.txt');
T=sum(sum(a)); P=a/T;   %计算对应矩阵P
r=sum(P,2), c=sum(P)  %计算边缘分布
Row_prifile=a./repmat(sum(a,2),1,size(a,2))   %计算行轮廓分布阵
B=(P-r*c)./sqrt((r*c));   %计算标准化数据B
[u,s,v]= svd(B,'econ')    %对标准化后的数据阵B作奇异值分解，s为奇异值 
w=sign(repmat(sum(v),size(v,1),1)) %修改特征向量的符号矩阵
%使得v中的每一个列向量的分量和大于0
ub=u.*w  %修改特征向量的正负号
vb=v.*w  %修改特征向量的正负号
lamda=diag(s).^2   %计算B'*B的特征值,即计算主惯量
ksi=T*(lamda)  %计算卡方统计量的分解
T_ksi=sum(ksi) %计算总卡方统计量
con_rate=lamda/sum(lamda)  %计算贡献率
cum_rate=cumsum(con_rate)  %计算累积贡献率
beta=diag(r.^(-1/2))*ub;  %求加权特征向量
G=beta*s   %求行轮廓坐标%
alpha=diag(c.^(-1/2))*vb;   %求加权特征向量
F=alpha*s   %求列轮廓坐标F
num=size(G,1);  
rang=minmax(G(:,1)');  %坐标的取值范围
delta=(rang(2)-rang(1))/(8*num); %画图的标注位置调整量
ch='LPSBEM'; hold on
for i=1:num
    plot(G(i,1),G(i,2),'*','Color','k','LineWidth',1.3)  %画行点散布图
    text(G(i,1)+delta,G(i,2),ch(i)) %对行点进行标注
    plot(F(i,1),F(i,2),'H','Color','k','LineWidth',1.3) %画列点散布图
    text(F(i,1)+delta,F(i,2),int2str(i+1972)) %对列点进行标注
end
xlabel('dim1'), ylabel('dim2'), format

结论： 因子分析与主成分分析是包含与扩展的关系。

   为了能够充分有效的利用数据，化繁为简是一项必做的工作，希望将原来繁多的描述变量浓缩成少数几个新指标，同时尽可能多的保存旧变量的信息，这些分析过程被称为数据降维。主成分分析和因子分析是数据降维分析的主要手段。另一种化繁为简的手段是聚类。

一、 主成分分析

引言：大家都学过线性代数，极大线性无关组的概念想必都很清楚，简单复习一下:一个向量组由多个列向量（或行向量）组成，但组成它的这些列向量之间可能存在某些线性关系（比如有一个列向量是另一个列向量的2倍），那么这样的向量组是不是显得有点臃肿呢？我们对这个向量组进行一些变换（如正交变换）得到一个新的向量组（称为原向量组的极大线性无关组），这个向量组的列向量个数比原向量组的列向量数量更是，且各个列向量之间线性无关，且原向量组的每一个列向量都可以由这个无关组的向量线性表示。那么，这个极大无关组就可以代表原来的向量组。

   同样的，主成分分析与之有相似的思想，放我们对某个对象进行研究时，往往会收集到与之相关的方方面面的数据，这些数据之间可能有重复、包含的关系，那么如何对多维的数据进行简化呢？下面就是主成分分析（PCA）要做的事情了。

   主成分分析可以简单的总结成一句话：数据的压缩和解释。常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释。在实际的应用过程中，主成分分析常被用作达到目的的中间手段，而非完全的一种分析方法。这也是为什么SPSS软件没有为主成分分析专门设置一个菜单选项，而是将其归并入因子分析。我们可以先了解主成分分析的分析模型。

   上面这幅图是经常被用来形象解释主成分分析原理。图中原来有两个坐标轴X1和X2，从散点分布可以很明显的知道散点在这两个坐标轴内存在线性相关。如果将这些散点在坐标轴X1和X2上的取值自变量x1和x2纳入到各种回归模型中，将会由于它们的元共线问题致使拟合结论出现偏差。那么如何处理才能避免呢？

   这里给大家强调，统计学上数据信息往往指的是数据变异（数据波动）。在上图中，散点的分布构成了一个椭圆形点阵，在椭圆的长轴方向，数据波动明显大于短轴方向。此时如果沿着椭圆的长轴和短轴方向设定新的坐标轴（F1和F2）组成坐标系，那么新坐标系可以完全解释数据散点的信息，散点在新坐标轴上的取值就形成两个新的变量（f1和f2），这两个新变量之间是相互独立（不相关）。

   从散点图上还可以知道，长轴和短轴能够解释的数据信息是不同的，长轴变量携带了大部分数据的变异信息，而短轴上的变量只携带一小部分变异信息。此时只需要使用长轴方向上的新变量（f1）就可以代表原来两个变量（x1和x2）的大部分信息，达到降维的作用。

   主成分分析的这种坐标轴变化是通过将原来的坐标轴进行线性组合完成的。这个线性组合的过程涉及到线性代数部分的内容，这里不过多解释。假设描述对象（例如汽车）由k个自变量指标（油耗、车重、轴长、内饰等等）进行描述，因为这些指标很多都是相关的（重量与油耗），因此可以进行主成分分析，浓缩变量。经过坐标轴线性组合以后，可以形成下面的线性组合式子：

$$f_1=a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1k}{x}_k$$ $$...................................................$$ $$f_k=a_{k1}{x}_1+a_{k2}{x}_2+...+a_{kk}{x}_k$$

   通过线性组合以后，主成分分析可以形成k个新变量。这里的线性组合大家可以理解成原来坐标轴的空间旋转，因此原来有多少变量（k个），经过主成分分析以后，形成数量一致的新变量（k个）。新变量之间的方差关系见下式。通常情况下，我们只许取前面几个即可。

$$\mathrm{Var}(f_1)>\mathrm{Var}(f_2)>\cdots >\mathrm{Var}(f_3)$$

   在主成分分析后，SPSS等软件会输出下面这个结果。包括特征根值，方差贡献率和累计方差贡献率。从表格结果可知，原来的变量数量是6个，经过矩阵的线性组合（正交变换）以后，形成了6个成分，前面2个成分总共贡献了数据变异的73.2%，且特征根都大于1，因此提取了前面2个成分作为主成分。

1. 特征根是矩阵线性组合后的产物，可以看作主成分的重要性指标，代表引入该主成分后可以解释多少原始变量的信息。如果特征根小于1，说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大，因此一般可以用特征根大于1作为纳入标准。
2. 方差贡献率表示该主成分的方差在全部方差中的比重。这个值越大，表明主成分解释数据信息的能力越强，它与特征根是正相关的，特征根越大，方差贡献率越大。
3. 累计贡献率表示前面n个主成分累计提取了多少数据信息。一般来说，如果前k个主成分的贡献率达到85%，表明提取前面k个主成分就基本可以解释所有数据信息。

   主成分分析的一个重要的结论是主成分矩阵，如下表所示。主成分矩阵可以说明各主成分在原来变量上的载荷，所以也被称为载荷矩阵。

   通过载荷矩阵可以写出主成分的组成结构表达式。我们以第一主成分为例，写出其表达式。从式子可以知道，第一主成分包含原来变量1和变量2信息最多，3和4其次，5，6更少一些。这就是主成分分析的致命缺陷，提取出来的主成分不能明确解释成某几个原始变量的概率，为进一步分析制造了困难。（这个问题将由因子分析来解决）

$$F1=0.880X_1+0.868X_2+0.501X_3+0.386X_4-0.599X_5-0.412X_6$$

   主成分分析的另一个结论是主成分得分矩阵。其实就是主成分载荷矩阵除以主成分特征根后得到的矩阵。为什么要除以特征根呢？这是因为主成分载荷矩阵是带有成分重要性属性（包含特征根）的，如果要用提取得到的主成分进行综合排名比较或回归分析，需先要消除主成分的权重不平等（重要新不同），因此需要除以对应主成分的特征根，得到主成分得分矩阵。上表的主成分得分矩阵为：

   根据主成分得分矩阵的得分系数，就可以计算每个个案在新变量（主成分）上的数值。进而可以将新变量值用于综合评分和回归。

$$f_1=0.358x_1+0.353x_2+0.204x_3+0.157x_4-0.244x_5-0.168x_6$$

$$f_2同理$$

   以上就是主成分分析的所有过程。可以通过矩阵变换知道原始数据能够浓缩成几个主成分，以及每个主成分与原来变量之间线性组合关系式。但是细心的朋友会发现，每个原始变量在主成分中都占有一定的分量，这些分量（载荷）之间的大小分布没有清晰的分界线，这就造成**无法明确表述哪个主成分代表哪些原始变量**，也就是说提取出来的主成分无法清晰的解释其代表的含义。

二、因子分析

   鉴于主成分分析现实含义的解释缺陷，统计学斯皮尔曼又对主成分分析进行扩展。因子分析在提取公因子时，不仅注意变量之间是否相关，而且考虑相关关系的强弱，使得提取出来的公因子不仅起到降维的作用，而且能够被很好的解释。因子分析与主成分分析是包含与扩展的关系。

   首先解释包含关系。如下图所示，在SPSS软件“因子分析”模块的提取菜单中，提取公因子的方法很多，其中一种就是主成分。由此可见，主成分只是因子分析的一种方法。

   其次是扩展关系。因子分析解决主成分分析解释障碍的方法是通过因子轴旋转(在SPSS软件中，旋转的方式有很多种，根据需要选择)。因子轴旋转可以使原始变量在公因子（主成分）上的载荷重新分布，从而使原始变量在公因子上的载荷两级分化，这样公因子（主成分）就能够用哪些载荷大的原始变量来解释。以上过程就解决了主成分分析的现实含义解释障碍。

   上面两个表是旋转后的成分矩阵和成分得分系数矩阵，这两个表的数值与主成分分析的结果已经完全不同。从左边的表可以明显知道，第一公因子主要由变量1、2、3（或仅有变量1）解释，第二公因子由变量5、6解释。右边表格的得分系数也不在是通过成分载荷/特征根得到，而是通过回归得出。

Summarize：

   从以上内容可以知道，主成分分析和因子分析的关系是包含与扩展。当因子分析提取公因子的方法是主成分（矩阵线性组合）时，因子分析结论的前半部分内容就是主成分分析的内容，而因子旋转是因子分析的专属（扩展），主成分分析是因子分析（提取公因子方法为主成分）的中间步骤。这就是为什么很多软件没有专门为主成分分析独立设计模块的原因。从应用范围和功能上讲，因子分析法完全能够替代主成分分析，并且解决了主成分分析不利于含义解释的问题，功能更为强大。