主成分分析

主成分分析（Principal Component Analysis，PCA，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。

1.准备数据

在这里我们使用sklearn提供的鸢尾花数据集。

import numpy as np
from sklearn import datasets

 # 加载鸢尾花数据集中的特征作为原始数据集
    def loadIris(self):
        data = datasets.load_iris()["data"]
        return data

    # 标准化数据
    def Standard(self,data):
        # axis=0按列取均值
        mean_vector=np.mean(data,axis=0)
        return mean_vector,data - mean_vector

2.计算得到协方差矩阵

    def getCovMatrix(self,newData):
        # rowvar=0表示数据的每一列代表一个feature
        return np.cov(newData,rowvar=0)

    # 计算协方差矩阵的特征值和特征向量
    def getFValueAndFVector(self,covMatrix):
        fValue,fVector = np.linalg.eig(covMatrix)
        return fValue,fVector

    # 得到特征向量矩阵
    def getVectorMatrix(self,fValue,fVector,k):
        fValueSort = np.argsort(fValue)
        fValueTopN = fValueSort[:-(k + 1):-1]
        return fVector[:,fValueTopN]

    # 得到降维后的数据
    def getResult(self,data,vectorMatrix):
        return np.dot(data,vectorMatrix)

3.计算特征值和特征向量

	def getFValueAndFVector(self,covMatrix):
        fValue,fVector = np.linalg.eig(covMatrix)
        return fValue,fVector
 	# 得到特征向量矩阵
   	def getVectorMatrix(self,fValue,fVector,k):
        fValueSort = np.argsort(fValue)
        fValueTopN = fValueSort[:-(k + 1):-1]
        return fVector[:,fValueTopN]

4.得到降维后的数据

	def getResult(self,data,vectorMatrix):
        return np.dot(data,vectorMatrix)

​

 

主成分分析（英语：Principal components analysis，PCA）是一种分析、简化数据集的技术。

通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 

主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。

主成分分析由卡尔•皮尔逊于1901年发明，用于分析数据及建立数理模型。其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征向量）与它们的权值（即特征值）。

主成分的目的： 

（1）变量的降维 
（2）主成分的解释（在主成分有意义的情况下）

主成分分析法从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。

如上图所示，我们将样本到红色向量的距离称作是投影误差（Projection Error）。以二维投影到一维为例，PCA 就是要找寻一条直线，使得各个特征的投影误差足够小，这样才能尽可能的保留原特征具有的信息。因为PCA仅保留了特征的主成分，所以PCA是一种有损的压缩方式.

PCA分析的一般步骤

1.根据研究问题选取初始分析变量

2.根据初始变量特性判断由协方差阵求主成分还是由相关矩阵求主成分；

3.求协方差阵或相关阵的特征值与相应标准特征向量；

4.判断是否存在明显的多重共线性，若存在，则回到第（1）步；

5.得到主成分的表达式并确定主成分个数，选取主成分；

6.结合主成分对研究问题进行分析并深入研究。

PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。

主成分分析法优缺点

优点

↘可消除评估指标之间的相关影响。因为主成分分析法在对原始数据指标变量进行变换后形成了彼此相互独立的主成分，而且实践证明指标间相关程度越高，主成分分析效果越好。

↘可减少指标选择的工作量，对于其他评估方法，由于难以消除评估指标间的相关影响，所以选择指标时要花费不少精力，而主成分分析法由于可以消除这种相关影响，所以在指标选择上相对容易些。

↘主成分分析中各主成分是按方差大小依次排列顺序的，在分析问题时，可以舍弃一部分主成分，只取前面方差较大的几个主成分来代表原变量，从而减少了计算工作量。用主成分分析法作综合评估时，由于选择的原则是累计贡献率≥85%，不至于因为节省了工作量却把关键指标漏掉而影响评估结果。

缺点

↘在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否则主成分将空有信息量而无实际含义）。

↘主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。

↘当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。

主成分分析案例

某公司经理拟招聘一名员工，要求其具有较高的工作积极性、自主性、热情和责任感。为此，该经理专门设计了一个测试问卷，配有25项相关问题，拟从315位应聘者中寻找出最合适的候选人。

在这25项相关问题中：

↘Qu3-Qu8、Qu12、Qu13测量的是工作积极性

↘Qu2、Qu14-Qu19测量工作自主性

↘Qu20-Qu25测量的是工作热情

↘Qu1、Qu9-Qu11测量工作责任感

每一个问题都有非常同意“Agree”、同意 “Agree Some”、不确定“Undecided”、不同意 “Disagree Some”和 非常不同意 “Disagree”五个等级。

该经理想根据这25项问题判断应聘者在这四个方面的能力，现收集了应聘者的问卷信息，经汇总整理后部分数据如下：

分析者希望将多个变量归纳为某几项信息进行分析，即降低数据结果的维度。针对这种情况，可以进行主成分提取，但需要先满足2项假设：

↘假设1：观测变量是连续变量或有序分类变量，如本研究中的测量变量都是有序分类变量。

↘假设2：变量之间存在线性相关关系。

SPSS操作

SPSS操作

(1) 在主页面点击Analyze→Dimension Reduction →Factor

(2) 将变量Qu1-Qu25放入Variables栏

(3) 点击Deive，点选Statistics栏的Initial solution选项，并点选Correlation Matrix栏的Coefficients、KMO and Bartlett’s test of sphericity、Reproduced和Anti_image选项

(4) 点击Continue→Extraction，点击Display栏中的Scree plot选项

(5) 点击Continue→Rotation，点选Method栏的Varimax选项，并点选Display栏的Rotated solution和Loading plot(s)选项

(6) 点击Continue→Scores，点击Save as variables，激活Method栏后点击Regression选项

(7) 点击Continue→Options，点击 Sorted by size和Suppress small coefficients选项，在Absolute value below栏内输入“.3”点击Continue→OK

经上述操作，SPSS输出相关矩阵表如下：

该表主要用于判断各变量之间的线性相关关系，从而决定变量的取舍，即如果某一个变量与同一分组中其他变量之间的关联性不强，我们就认为该变量与其他变量测量的内容不同，在主成分提取中不应该纳入该变量。一般来说，如果相关系数大于等于0.3，我们就认为变量之间存在较好的线性相关性。

从本研究的结果来看，在分别对应聘者工作积极性(Q3-Q8，Q12，Q13)、工作自主性 (Q2，Q14-19)、工作热情(Q20-25)和工作责任感(Q1，Q9-11)的测量中，每组变量之间的相关系数均大于0.3，说明各组变量之间具有线性相关关系，提示满足假设2。

KMO检验对数据结构的总体分析

KMO检验主要用于主成分提取的数据情况。KMO检验系数分布在0到1之间，如果系数值大于0.6，则认为样本符合数据结构合理的要求。

部分学者认为，只有当KMO检验系数值大于0.8时，主成分分析的结果才具有较好的实用性，具体系数对应关系如下：

SPSS输出本研究结果如下：

本研究的KMO检验系数为0.833，根据系数对应关系表，我们认为本研究数据结构很好(meritorious)，具有相关关系，满足假设2。

KMO检验对各变量的单独分析

SPSS输出各变量的KMO检验结果如下：

整理后各题KMO值：

KMO检验对单个变量的分析结果也在0到1之间分布，如果系数大于0.5，则认为单个变量满足要求；如果系数大于0.8，则认为单个变量结果很好。

分析结论中，任一变量的KMO检验结果均大于0.7，即各变量结果一般，但满足假设2。

Bartlett's检验

Bartlett's检

Bartlett's检验的零假设是研究数据之间的相关矩阵是一个完美矩阵，即所有对角线上的系数为1，非对角线上的系数均为0。

在完美矩阵情况下，各变量之间没有相关关系，即不能将多个变量简化为少数的成分，没有进行主成分提取的必要。因此，我们希望拒绝Bartlett's检验的零假设。

SPSS输出结果如下：

Bartlett's检验的P值小于0.001，拒绝零假设，即认为研究数据可以进行主成分提取，满足假设2。

结果解释

对主成分结果的分析主要从公因子方差（communalities）、提取主成分和强制提取主成分三个方面进行。

公因子方差结果

SPSS输出公因子方差结果如下：

研究中有多少个变量数据结果就会输出多少个成分，本研究中共有25个变量，就会对应产生25个成分。

“Extraction”栏提示当只保留选中的成分时，变量变异被解释的程度。

提取主成分

研究中有多少个变量，主成分提取就会产生多少个主成分。我们通过选取主成分对数据进行降维，但同时也要注意尽可能多地包含对数据变异的解释。

一般来说，结果输出的第一主成分包含最多的数据变异，第二主成分次之，之后的主成分包含的变异程度依次递减。SPSS输出结果如下：

本研究中共有25个变量，那总特征值（eigenvalues of variance）是25，即每个变量自身的特征值为1。

Total栏提示的是各主成分对数据变异的解释程度。

以第一主成分为例，其特征值为6.730，占总体变异的6.730/25×100 = 26.919% （% of Variance栏）。同理，第二主成分的特征值为3.342，占总体变异的13.369%，以此类推。

一般来说，如果某一项主成分的特征值小于1，那么我们就认为该主成分对数据变异的解释程度比单个变量小，应该剔除。本研究结果如下：

第五主成分的特征值为1.049，大于1；而第六主成分的特征值为0.951，小于1，即应该保留前五位的主成分，剔除剩余部分。

结论

本研究采用主成分分析，通过25项问题调查315位应聘者的工作能力。

研究变量之间存在线性相关关系(每组变量之间的相关系数均大于0.3)，数据结构合理(KMO检验系数为0.833，单个变量的KMO检验系数均大于0.7，Bartlett's检验结果为P<0.001)，提示研究数据可以进行主成分提取。< span="">

主成分提取结果：研究提取前四位主成分。提取后的主成分累计解释59.9%的数据变异，分别反映应聘者的工作积极性、工作自主性、工作热情和工作责任感（如下图）

什么是主成分分析

简而概之, 就是一组数据受太多因素影响, 选出几个能代表他们的因素,并进行线性组合得到一组比原维度小的因素组合, 作为新的因素集

用spss操作

随手拿出一组数据

1.数据统一标准化

因为我们得到的原始数据大小,类型不一, 一起分析会不准确, 所以将数据全部标准化到[-10,10]的范围内

选择 分析--描述统计--描述

将变量都放入右侧, 并选中将标准化值另存为变量,点击确定

 后面以Z开头的都是各变量标准化之后的值, 可以发现所有的变量都在[-10, 10]范围内

 记得修改标准化值的类型和原值一样(我的全是标量) 

进行因子分析

选择 分析--降维--因子分析 

将标准化之后的值全部选中,原始值不要选

 

描述: 选中 初始解和KMO和巴特利特球形度检验 

 提取: 选择 协方差矩阵和碎石图

 得分: 选择保存为变量

 其他的选项默认就好, 然后点击确定

主要关注 总方差解释, 可以发现前两个变量就占了94%多的影响度(一般占到85%以上就可以通过), 所以完全可以用前两个变量代替其他的变量 

 

 这个结果也可以通过碎石图直观地表示:

 成分矩阵表示 各个主成分与各个因素之间的关系有多大 

将成分矩阵的重新标度成分, 复制粘贴到变量中, 变成一个新变量,分别记为V1, V2

 

 

 

转换得到主成分分析的系数

因为spss中只有因子分析, 所以还需要对因子分析的系数做处理才能得到主成分分析的系数(建议先了解主成分分析和因子分析的关系, 我是看的b站数模老哥的视频23节)

它们之间的关系是 因子分析的系数 / sqrt(特征值) = 主成分分析的系数

特征值就是总方差解释中的总计

然后在 转换--计算变量中可以进行相关计算

计算过程类似于excel, 就不多说了,直接上公式

 然后再把 主成分分析的系数与原始值标准化之后的值对应相乘, 分别得到最终结果F1, F2

也是在 转换--计算变量 中计算

 

 最后, 6个因素降维成只剩下F1, F2两个因素了, 处理问题简化了很多