因子分析系列博文: 

因子分析 factor analysis (一 )：模型的理论推导 

因子分析 factor analysis (二 ) ： 因子分析模型 

因子分析 factor analysis (三) ： 因子载荷矩阵的估计方法

因子分析 factor analysis (四) ： 因子旋转（正交变换） 

因子分析 factor analysis (五) ： 因子得分

因子分析 factor analysis (六) ：用因子分析法进行综合评价 

因子分析 factor analysis (七) ：因子分析法与主成分分析的异同

目录

一 因子载荷矩阵A的估计方法

1.  主成分分析法 

2. 极大似然估计法（略）

3.  主因子法

 二 试用主成分分析法求因子分析模型

三 用主因子分析法求因子分析模型

一 因子载荷矩阵A的估计方法

1.  主成分分析法 

 



祥见【因子分析 factor analysis (一 )：模型的理论推导】

2. 极大似然估计法（略）

3.  主因子法



主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。则        ;称 为约相关系数矩阵，  对角线上的元素是  ，而不是1。

 

直接求  的前 p 个特征值和对应的正交特征向量。得到如下的矩阵 



在实际应用中，特殊因子的方差一般都是未知的，可以通过一组样本来估计。估计 的方法有如下几种： 

1）取  ，在这个情况下主因子解与主成分解等价。 

 2）取 ，  为  与其它所有的原始变量 的复相关系数的平方，即  对其余的 p-1个 的回归方程的判定系数，这是因为 与公共因子的关系是通过其余 的 p-1 个  的线性组合联系起来的。 

 3)  取  ，这意味着取  与其余的 的简单相关系数的绝对值的最大值。

4）   取 ，其中要求该值为正数。

5） 取 ，其中   是 的对角元素。

 

 

 二 试用主成分分析法求因子分析模型

例1   假定某地固定资产投资率  ，通货膨胀率 ，失业率  ，相关系数矩阵为

                                                       



计算的MATLAB程序为：

clc,clear 
r=[1 1/5 -1/5;1/5 1 -2/5;-1/5 -2/5 1]; 
[vec,val,con]=pcacov(r);num=2; 
f1=repmat(sign(sum(vec)),size(vec,1),1); 
vec=vec.*f1;     %特征向量正负号转换 
f2=repmat(sqrt(val)',size(vec,1),1); 
a=vec.*f2   %载荷矩阵 
s1=sum(a.^2,1) 
tt=a.^2;tt=tt(:,1:num); 
s2=sum(tt,2) 
 

三 用主因子分析法求因子分析模型

例2   假定某地固定资产投资率  ，通货膨胀率 ，失业率  ，相关系数矩阵为

                                                    

8.3 因子载荷矩阵的估计方法
(一)主成分分析法
回顾一下主成分法估计因子载荷矩阵的步骤：求出原变量协方差阵(或相关阵)的前 m 个特征根(考虑累积贡献率)，后面的特征根忽略掉
因子载荷矩阵的每一列为前 m 个特征根乘上对应的单位特征向量
特殊因子的方差为 1 - 共同度(即因子载荷该行的平方和)
用原协方差阵减去公因子协方差阵与特殊因子协方差阵，得到残差阵
残差阵元素的平方和为残差平方和
可以证明(课后习题8-4)
(二)主因子解
可以看做主成分法的修正(就是迭代思想！)。
假如特殊因子方差的初始估计已知，那么令
通过求出
 的前 m 个特征根，得到 A 的估计，进而得到 D 的估计。反复迭代直到迭代前后 D 的差别很小就停止。
如果初始估计未知，那么一开始我们就用主成分法得到 A 的估计，进而得到 D 的初始估计。
公因子方差初始估计方法：第 i 个公因子方差取为第 i 个变量与其它所有变量的多重相关系数的平方
第 i 个公因子方差取为第 i 个变量与其它所有变量的相关系数绝对值中最大者
直接取为 1，等价于主成分解(将特殊因子方差忽略).
(三)极大似然估计
假设数据 X1,...,Xn 服从 p 元正态，公因子与特殊因子也假定服从正态。
对于均值和协方差阵可以用其极大似然估计替代，利用求极值的方法可得以下方程组
其中第二个方程如下得到
上面方程不能给出 A 和 D 唯一的估计，会加一个唯一性条件
其中
 是对角阵。
实际计算中也是用迭代的思想，给定初值 D 然后利用第二个方程求 A，再用第三个方程求 D，直到稳定。
8.4 方差最大的正交旋转
(一)为什么考虑因子旋转
建立因子模型不仅要得到公共因子，还要能解释这些公共因子的具体含义。
因子载荷矩阵每一行的元素都不大(因为平方和小于1限制)，但一般比较平衡，难以解释。现在希望旋转过后的载荷矩阵每一行元素差异大一些。
记
 ，那么希望 
 每一行元素中只有一个比较大，其余都接近0
三种主要的正交旋转法：四次方最大法
方差最大法
等量最大法
(二)因子旋转理论
假设 X 的均值为 0，对因子作正交变化
 得到
其满足因子模型的假设，所以 Z 也是公因子向量
(三)变换后公因子共同度性质
记共同度为
如果因子载荷每一列的元素值越分散，则相应因子载荷的方差就越大
为了让不同行的值可以进行比较，每一行都除以共同度，记
定义因子载荷第 j 列的方差为
其中
就是除以共同度之后得到的矩阵的第 j 列看做一个样本，求它的样本方差(差一个常数)
第 j 列方差越大，说明第 j 个因子载荷向量的取值越分散
因子载荷矩阵 A 的方差等于每一列的方差之和
(四)旋转方法
(1)方差最大的正交旋转
需要寻找正交旋转矩阵，使得
 的方差达到最大。其方差的表达式由上面给出
设因子载荷矩阵有两列，即m=2，那么正交矩阵形式可以设为
那么
通过在 V 中对
 求偏导得到
其中各参数的意义可以参考书上310页。
直观意义：希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。
相当于是每一列的方差达到最大！
(2)四次方最大旋转
基本思想：使得因子载荷的每一行只在少部分地方取较大的值。
相当于是每一行的方差达到最大！
用于度量方差的量为
这里的 1/m 可以理解为每一行的均值
(3)等量最大法
同时考虑(1)和(2)，也就是 Q 和 V 的加权平均达到最大。
(五)关于因子旋转
之前讨论的因子模型，假定因子之间不相关，实际上可能不是。这时候对应的模型称为斜交因子模型。
如果变量很多，可以采用稀疏因子模型：该变量前稀疏小，可除去。
8.5 因子得分
利用 X 的观测数据可以得到每个公因子的观测数据，我们把公因子的观测数据称为因子得分矩阵。
(1)加权最小二乘法
对于如下因子模型
由于特殊因子的方差不同，所以不能直接用最小二乘估计。
假设因子载荷矩阵和特殊因子方差已知，即使未知，也可以用前面的方法来估计。
定义加权最小二乘下的损失函数为(中间多了一个 D 逆，为了变为同方差)
通过求极值可得因子得分矩阵的估计为
(2)Bartlett得分
这是极大似然估计的思想，假设
 ，那么对数似然函数为
当 A 和 D 未知时，用某种估计来替代。选取 F 使得似然函数达到极值点
(3)回归法Thompson得分
如果 A 是正交的，那么就用 F = A'X 估计就可以，下面讨论 A 不是正交的假定：
对公因子 F 对变量 X 做如下回归
因子载荷矩阵的元素实际上是 X 与 F 的相关系数
即
由这个方程组可得(A 是已知的)
比较一下Bartlett得分和Thompson得分：
两种得分之间的关系如下
根据
 的正定性，可知Bartlett得分的方差阵不小于Thompson得分的方差阵。(即相减不小于0)
就无偏性而言，Bartlett得分是无偏的，Thompson得分是有偏的
就均方误差而言，Thompson得分的均方误差较小
PS：当研究对象是样品时，处理方法基本不变。样品间的相似度一般采用相似系数(如夹角余弦)
因子分析的五个步骤：
(1)选择分析变量
用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子,所以原始变量间应该有较强的相关性。
(2)计算所选原始变量的相关系数矩阵
相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。
(3)提取公共因子
这一步要确定因子求解的方法和因子的个数。需要根据研究者的设计方案或有关的经验或知识事先确定。因子个数的确定可以根据因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因为方差小于1的因子其贡献可能很小；按照因子的累计方差贡献率来确定，一般认为要达到60%才能符合要求。
(4)因子旋转
通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，这样因子解的实际意义更容易解释,并为每个潜在因子赋予有实际意义的名字。
(5)计算因子得分
求出各样本的因子得分，有了因子得分值，则可以在许多分析中使用这些因子，例如以因子的得分做变量的聚类分析，做回归分析中的回归因子。
第十章 典型相关分析
典型相关分析是用于研究两组多变量之间的相关关系的方法，也是降维技术。相关分析研究 X1 和 X2 的相关性，典型相关分析研究 (X1，X2) 与 (Y1，Y2，Y3)的相关性。
通过相关矩阵能够轻易看出分量 Xi 与 Yj 的相关性，但如何刻画 X 与 Y 的相关性？
想法：通过投影得到 a'X 和 b'Y，使得 a'X 和 b'Y 的相关系数最大(第一典型相关分析)。
即使
为了方便求解，常约束
 .
这里我们不去采用拉格朗日法，而是结合之前主成分分析的思想。
记
 ，那么 
将目标函数平方之后，把a 和 b 用 u 和 v 替换得到
其中约束为
 ，所以转化为
根据主成分分析思想，u 就是
 的最大特征根对应的特征向量。类似地，v就是 
 的最大特征根对应的特征向量。
这就是本章的基本思想，剩下内容放到下一讲。

7.3 因子正交旋转 在第7.1节我们已经看到，满足方差结构Σ =AAT+Ф的因子模型并不惟一，模型的公因子与载荷矩阵不惟一.如果F是模型的公因子，A是相应的载荷矩阵，而T是m×m正交矩阵，则F*=TTF也是公因子，相应的载荷矩阵为A*=AT，A*也满足Σ =A*A*T+Ф这说明，公因子和因子载荷矩阵作正交变换后，并不改变共同度，我们称因子载荷的正交变换和伴随的因子正交变换为 因子正交旋转.  * 主编：费宇 * 7.3 因子正交旋转 设     是用某种方法(比如主成分法)得到的因子载荷矩阵的估计，T为 m×m正交阵,则   是旋转载荷矩阵. 问题是：为什么要进行因子旋转？其目的是什么？    * 主编：费宇 * 7.3 因子正交旋转 如果初始载荷不易解释时，就需要对载荷作旋转，以便得到一个更简单的结构.最理想的情况是这样的载荷结构，每个变量仅在一个因子上有较大的载荷，而在其余因子上的载荷比较小，至多是中等大小，这样公因子Fi的具体含义可由载荷较大的变量根据具体问题加以解释.如何进行因子旋转寻找一个简单结构的载荷矩阵，这里不作详细介绍.  * 主编：费宇 * 7.4 因子得分 在因子分析中，虽然我们关心模型中载荷矩阵的估计和对公因子的解释，但对于公因子的估计，即因子得分，有时也是需要的.但是因子得分的计算并不同于通常意义下的参数估计，而是对不可观测的因子fj取值的估计，下面介绍用加权最小二乘法估计因子得分.  * 主编：费宇 * 1. 加权最小二乘法 给定因子模型X=μ+AF+ε, 假定均值向量μ, 载荷矩阵A和特殊方差阵Ф已知，把特殊因子ε 看作误差，因为Var(εi)=фi(i=1,2,…,p)未必相等,所以我们用加权最小二乘法估计公因子 F. 首先将因子模型 (7.2)改写为   * 主编：费宇 * 1. 加权最小二乘法 两边左乘Ф-1/2得  记X*=Ф-1/2(X-μ), A*=Ф-1/2A, ε*=Ф-1/2ε, 则上式可以写成  注意到E(ε*) =Ф-1/2E(ε)=0, cov(ε*)=E(ε*ε*T)=Ф-1/2E(εεT) Ф-1/2=I   * 主编：费宇 * 1. 加权最小二乘法 所以(7.25)是经典的回归模型，由最小二乘法知F的估计为    实际中, A, Ф和μ都是未知的, 通常用它们的某种估计来代替, 比如我们采用正交旋转后的载荷矩阵A的估计     ,                                            和样本均值                                               , 分别代替A, Ф和μ  * 主编：费宇 * 1. 加权最小二乘法 于是可得对应于xj的因子得分  * 主编：费宇 * 例7.1 数据文件为eg6.1 前面第6章例6.1表6.1给出了52名学生的数学(x1)、物理(x2)、化学(x3)、语文(x4)、历史(x5)和英语(x6)成绩，试进行学生成绩的因子分析. 解:采用R软件对样本数据进行因子分析，首先计算样本数据的相关系数矩阵，观察各变量之间的相关性.   * 主编：费宇 * 例7.1 数据文件为eg6.1 #假设已经读取了52名学生成绩数据 > cor(X) #计算样本数据的相关系数矩阵        x1     x2     x3      x4      x5      x6 x1    1.00   0.65   0.70   -0.56   -0.46   -0.44 x2    0.65   1.00   0.57   -0.50   -0.35   -0.46 x3    0.70   0.57   1.00   -0.38   -0.27   -0.24 x4   -0.56  -0.50   -0.38   1.00    0.81    0.83 x5   -0.46  -0.35   -0.27   0.81    1.00    0.82 x6   -0.44  -0.46   -0.24   0.83    0.82    1.00  * 主编：费宇 * 例7.1 数据文件为eg6.1 从样本数据各变量的相关系数上可以看出, x4、x5和x6之间存在较强的相关性，为了消除各变量之间的相关性，下面分别采用R软件中基于极大似然法的因子分析函数factanal( )和基于主成分法的因子分析函数factpc(  )对数据进行因子分析提取因子.  * 主编：费宇 * 例7.1 数据文件为eg6.1 #极大似然法做因子分析 > factanal(X,factors=2,rotation="none") Call: factanal(x = X, factors = 2, rotat

极大似然法估计在假定数据遵循多变量正态分布时的因子载荷。由其名称便可以看出，此方法通过最大化与多变量正态模型相关的似然函数找到因子载荷和唯一方差的估计值。这也可以通过最小化涉及残差方差的表达式达到同样的效果。算法会进行迭代，直到找到最小值或达到最大的指定迭代数(默认为 25)。
Minitab 使用基于 Joreskog1、2的算法通过一些调整加强收敛。我们在这里对该算法做了简要小结。
假定我们有 p 个变量并且想要使用 m 个因子拟合模型。设 R 作为变量的 p × p 相关矩阵，设 L 作为因子载荷的 p × m 矩阵，设 Ψ 作为对角元素是唯一方差的 p × p 对角矩阵 Ψi。然后，我们需要找到最大化似然函数 f(L,Ψ) 的 L 和 Ψ 值。这涉及两个步骤，首先为 Ψ 找一个值，然后为 L 找一个值。
您可以间接地指定 Ψ 的初始值。在“因子分析 - 选项”子对话框中，输入包含使用初始公因子方差估计于中公因子方差初始值的列。Minitab 之后将 Ψ 对角元素计算为(1 − 公因子方差)。
对于 Ψ 的固定值，我们要相对于 L 最大化 f(L,Ψ)。这是一种简单的矩阵计算。之后将 L 的值代入 f(L,Ψ)。现在 f 可视为 Ψ 的函数。此函数的简单变换提供
其中，λ1 < λ2 < ... λp 是 Ψ R- 1Ψ 的特征值。我们之后通过 Newton-Raphson 过程最小化 g(Ψ)。这得出 Ψ 的估计值，该值之后代入似然 f(L,Ψ)。然后，似然又一次相对于 L 进行最大化。计算出 g(Ψ) 的新值，以此类推。默认情况下，如果未达到收敛，迭代会继续多达 25 个步长。如果算法在 25 个步长中未达到收敛，您可能要在“选项”子对话框中更改默认的最大迭代次数。
如果下面任一项为真，则在第 n 个步长达到收敛：
函数 g(Ψ) 在连续性步长之间不会发生太大变化。具体地说，如果：
| [第 n 个步长的 g(Ψ)] − [第 (n − 1) 个步长的 g(Ψ)] | < 10-6
所有唯一方差在连续性步长之间都不会发生太大变化。具体地说，如果：
| ln(第 n 个步长的 Ψi)− ln(第 n − 1 个步长的 Ψi) | < K2，
对于所有 i = 1, ... , p，其中 Ψ 的第 i 个对角元素 Ψi 是对应于变量 i 的唯一方差。
K2 的值可在“选项”子对话框中的收敛中指定。默认情况下，该值为 0.005。
在“结果”子对话框中选择全部和最大似然提取迭代可显示每次迭代的信息。会显示目标函数 g(Ψ) 的值，之后在 ln(Ψi) 中发生最大变化。如果在一次迭代中，g(Ψ) 的值未减少，那么将采用较小(一半尺寸)的步长。继续半步直到 g(Ψ) 减少或采用 25 个半步。此时显示半步的数量。如果 g(Ψ) 在 25 个半步中未减少，则算法停止，并显示一条消息。
第二个导数的矩阵用于 g(Ψ) 的最小化。该矩阵并非总为正定。如果不是，则使用近似。当 Minitab 使用准确的矩阵时，结果中会出现星号。
最小化函数 g(Ψ) 时，可能发现 Ψ 的对角元素的值为 0 或为负。为防止出现这种情况，Minitab 的算法将 Ψ 的对角元素限制在 0 之外。具体地说，如果唯一方差 Ψi 小于 K2，则其设定为等于 K2。K2 是在“选项”子对话框中的“收敛”中设定的值。
当算法收敛时，会对唯一方差执行最终检查。如果任何一个唯一方差小于 K2，则它们设定为等于 0。对应的公因子方差则等于 1。此结果称为 Heywood 案例，并且 Minitab 会显示一条消息告知用户此结果。优化算法，比如用于极大似然因子分析的算法，可提供不同的答案，在输入中略有变化。例如，如果您更改了一些数据点、在使用初始公因子方差估计于中更改了初始值，或者在收敛中更改了收敛标准，您可能会发现因子分析结果出现差异。这对于解出现在极大似然曲面上相对平坦区域的情况尤为如此。