〇、前情提要
b站看【厦门大学MOOC】多元统计分析，因为老师很好看。

参考：

【厦门大学MOOC】多元统计分析

https://www.bilibili.com/video/BV1v7411E7PB

课程大纲：

一、多元统计分析概述

二、多元数据的描述与展示

三、多元正态分布

四、均值向量的检验

五、判别分析和分类分析

六、主成分分析

七、因子分析

八、聚类分析

一、多元统计分析概述


1.1 多元分析的定义
多元统计分析是什么？
多元统计分析定义

多元数据

例子
鸢尾花例子


行：样本     列：信息维度



->研究变量之间的相关性、做回归
购物网站例子




-> 维度之间的关系

-> 业务问题

1.2 多元分析的方法简介

数据描述
多元数据特征和可视化、多元正态分布

怎么从特征上面去描述：多元数据波动性、平均情况、变量与变量之间的相关性
怎么用图形表示
多元正态分布情况

第二章、第三章
统计推断
多元数据的统计检验

假设检验（数理统计 一个变量时均值的检验、两样本t检验）

第四章
经典降维
简化数据结构

具体怎么做

第六章、第七章
目标归类
根据数据特征构造归类模式

特征 聚类问题
标签 分类 判别分析问题

第八章、第五章


数据描述
将从四个部分来讲（第二章）



数据都是有分布的，多元正态（第三章）

二元正态


顾客满意度评分
平均、波动性、相关性


微博活跃程度

统计推断
μ=μ0的推广（第四章）



经典降维



不是所有的信息都有用

用少数代替多数


主成分分析
样本/个体之间差异 最大化方差
因子分析
综合指标/公共因子 变量与变量之间的相关性 有公共因素
数据减肥

目标归类
对新的样本分类



多种信息维度分类


监督学习-分类问题
分类问题



第五章


无监督学习-聚类问题
聚类问题



第八章



1.3 多元分析的应用领域
用统计学原理，研究各种感兴趣领域的知识。


不同行业的应用
聚类 分类 判别问题
市场营销

银行业

金融行业

医疗行业

分子生物学

天文学

法务会计

如何使数据驱动价值
有原始数据

->直观有效信息（二三章 可视化 波动性 平均情况 分布性）

->提取有用的知识（统计推断 显著）

->统计建模（回归 分类）

 1.多元统计分析（Multivariate Statistical Analysis)

  多元统计分析研究的是客观事物中多个变量（多个因素）之间相互依赖的统计规律性。假如说一个数据它有n维特征，我们称它为多元数据，而分析多元数据的统计方法就叫做多元统计分析。重要的多元统计分析方法有：多重回归分析（简称回归分析）、判别分析、聚类分析、主成分分析、典型相关分析、多元方差分析等。


 2.统计分析的基本变量
  设X、Y是两个随机变量  \[X = {({X_1},...,{X_p})^T},Y = {({Y_1},...,{Y_q})^T}\]
  1）随机向量X的均值向量
若\[E({X_i}) = {\mu _i}\]存在，则称

\[E(X) = \left[ \begin{array}{l}

E({X_1})\\

 \vdots \\

E({X_p})

\end{array} \right] = \left[ \begin{array}{l}

{\mu _1}\\

 \vdots \\

{\mu _p}

\end{array} \right]\]
是随机向量X的均值向量。
  2）随机向量X的协方差矩阵
若Xi和Xj的协方差Cov(Xi,Xj)存在（i,j=1,...,p),则称

\[\begin{array}{l}

D(X) = E((X - E(X)){(X - E(X))^T})\\

 = \left[ \begin{array}{l}

Cov({X_1},{X_1})Cov({X_1},{X_2}) \cdots Cov({X_1},{X_p})\\

Cov({X_2},{X_1})Cov({X_2},{X_2}) \cdots Cov({X_2},{X_p})\\

 \vdots \\

Cov({X_p},{X_1})Cov({X_p},{X_2}) \cdots Cov({X_p},{X_p})

\end{array} \right]\\

 = {({\sigma _{ij}})_{p \times p}} \equiv \sum 

\end{array}\]
为随机变量X的协方差矩阵。

  协方差矩阵描述的是两个样本不同维度之间的协方差，即不同纬度之间的相关性。
  3）随机向量X和Y的协方差矩阵
若Xi和Yj的协方差Cov(Xi,Yj)存在（i=1,...,p;j=1,...,q)，则称

\[\begin{array}{l}

E(X,Y) = E((X - E(X)){(Y - E(Y))^T})\\

 = \left[ \begin{array}{l}

Cov({X_1},{Y_1})Cov({X_1},{Y_2}) \cdots Cov({X_1},{Y_q})\\

Cov({X_2},{Y_1})Cov({X_2},{Y_2}) \cdots Cov({X_2},{Y_q})\\

 \vdots \\

Cov({X_p},{Y_1})Cov({X_p},{Y_2}) \cdots Cov({X_p},{Y_q})

\end{array} \right]

\end{array}\]
为随机向量X和Y的协方差矩阵。若Cov(X,Y)=O(其中O为零矩阵），则称X和Y不相关。
  4）随机向量X相关阵
若Xi和Xj的协方差Cov(Xi,Xj)存在（i=1,...,p;j=1,...,q)，则称

\[R = {({r_{ij}})_{p \times p}}\]
为X的相关阵，其中

\[{r_{ij}} = \frac{{Cov({X_i},{X_j})}}{{\sqrt {Var({X_i})} \sqrt {Var({X_j})} }} = \frac{{{\sigma _{ij}}}}{{\sqrt {{\sigma _{ii}}{\sigma _{jj}}} }}(i,j = 1,2,...,p)\]
这里，

\[Var({X_i}) = Cov({X_i},{X_i}) \equiv {\sigma _{ii}}\]
为随机变量Xi的方差，而

\[\sqrt {{\sigma _{ii}}} \]
为Xi的标准差（i=1,2,...,p).
若记

\[{V^{1/2}} = diag(\sqrt {{\sigma _{11}}} ,...,\sqrt {{\sigma _{pp}}} )\]
为标准差矩阵，则

\[\sum  =  {V^{1/2}}R{V^{1/2}}\]
或者

\[{\rm{R}} = {({V^{1/2}})^{ - 1}}\sum {({V^{1/2}})^{ - 1}}\]


3.样本数据阵
一个p维的随机向量X，
\[X = {({X_1},...,{X_p})^T}
如果同时对p个特征做一次观测，得观测值

\[({x_{11}},{x_{12}},...,{x_{1p}}) \equiv {X_{(1)}}^T\]

它是一个样品。观测n次有n个样品，而这n个样品就构成了一个样本。把这n个样品组成的样本排列成一个矩阵n*p，称为样本数据阵，记为

\[X = \left[ \begin{array}{l}

{x_{11}},{x_{12}},...,{x_{1p}}\\

{x_{21}},{x_{22}},...,{x_{2p}}\\

 \vdots \\

{x_{n1}},{x_{n2}},...,{x_{np}}

\end{array} \right] \equiv \left[ \begin{array}{l}

{X_{(1)}}^T\\

{X_{(2)}}^T\\

 \vdots \\

{X_{(n)}}^T

\end{array} \right]\]

> library(dplyr)
> bike.cat <- bike %>%
+		select(season:weatherisit)  %>%
+	mutate_each(funs(factor))

mutate_each()函数是dplyr程序包提供的对所有列使用同一函数的操作了。由于bike数据中包含的分类变量实际上是数值型，因此这里使用了factor()函数将其转换成因子型。然后把这些变量变成哑变量，哑变量就是将分类变量的各个谁陪你描述成取值为0或1的新变量。实际上，caret程序包的dummyVars()函数可以方便地转换成哑变量。dummyVars()函数会返回含有构成哑变量所需信息的列表，在此基础上，通过predict()函数就可以实际转换成哑变量。
> install.packages("caret")
> library(caret)
> tmp <- dummyVars(~.,data=bike.cat)
> bike.dum <- predict(tmp,bike.cat)

将转换成哑变量的因子型变量，和用于多元回归分析的数值变量通过cbind()函数结合，就可以执行多元回归分析。
> bike <- cbind(select(bike,temp:winspeed,cnt),bike.dum)
> bike.lm.0 <- lm(cnt~.,data=bike01)
> summary(bike.lm.0)

lm()函数的第1个参数cnt~.形式其中点号表示将cnt以外的全部变量用作解释变量。通过summary()函数可以观察分析结果。其中的一些变量实际上可能对预测没有任何作用。为了解决这个问题，需要通过变量选择来指定最合适的解释变量群。可以通过MASS程序包中的stepAIC()函数执行变量选择。
> library(MASS)
> bike.lm.1 <- stepAIC(bike.lm.0)
> bike.lm.1
> summary(bike.lm.1)

绘制残差的直方图以及观测值和预测值的散点图。
>qplot(residuals(bike.lm.1),binwidth=500,
+		color=I("black"),fill=I("grey"))
> qplot(predict(bike.lm.1),bike$cnt)+geom_smooth(method="lm")

下面我们不转换成哑变量，而是用转换成因子型的分类变量作为解释变量来生成数据框。
> bike02 <- cbind(dplyr::select(bike,temp:windspeed,cnt),
+		bike.cat)
> bike02.lm <- lm(cnt~.,data=bike02)
> summary(bike02.lm)
> bike02.lmstep <- stepAIC(bike02.lm)
> summary(bike02.lmstep)

主成分分析与因子分析的区别

 

1. 目的不同： 因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对某一个变量有作用的特殊因子线性组合而成，因此就是要从数据中控查出对变量起解释作用的公共因子和特殊因子以及其组合系数；主成分分析只是从空间生成的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变量（主成分）。

2. 线性表示方向不同： 因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。

3. 假设条件不同：主成分分析中不需要有假设；因子分析的假设包括：各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。

4. 提取主因子的方法不同：因子分析抽取主因子不仅有主成分法，还有极大似然法，主轴因子法，基于这些方法得到的结果也不同；主成分只能用主成分法抽取。

5. 主成分与因子的变化：当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的；而因子分析中因子不是固定的，可以旋转得到不同的因子。

6. 因子数量与主成分的数量：在因子分析中，因子个数需要分析者指定（SPSS根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同；在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等）。

7. 功能：和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势；而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这种情况也可以使用因子得分做到，所以这种区分不是绝对的。




1 、 聚类分析

基本原理：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。

常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。

注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类；

          2. K-均值法要求分析人员事先知道样品分为多少类；

           3. 对变量的多元正态性，方差齐性等要求较高。

应用领域：细分市场，消费行为划分，设计抽样方案等

2、 判别分析

基本原理：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进入时，判断其与判别函数之间的相似程度（概率最大，距离最近，离差最小等判别准则）。

常用判别方法：最大似然法，距离判别法，Fisher判别法，Bayes判别法，逐步判别法等。

注意事项：1. 判别分析的基本条件：分组类型在两组以上，解释变量必须是可测的；

           2. 每个解释变量不能是其它解释变量的线性组合（比如出现多重共线性情况时，判别权重会出现问题）；

           3. 各解释变量之间服从多元正态分布（不符合时，可使用Logistic回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相同）。

相对而言，即使判别函数违反上述适用条件，也很稳健，对结果影响不大。

应用领域：对客户进行信用预测，寻找潜在客户（是否为消费者，公司是否成功，学生是否被录用等等），临床上用于鉴别诊断。

3、 主成分分析/ 因子分析

主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。

因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）

求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。

        （实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）

求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。

注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；

          2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或 是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；

          3.主成分分析不要求数据来源于正态分布；

          4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。

             5. 因子分析中各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。

应用领域：解决共线性问题，评价问卷的结构效度，寻找变量间潜在的结构，内在结构证实。

4、 对应分析/最优尺度分析

基本原理：利用降维的思想以达到简化数据结构的目的，同时对数据表中的行与列进行处理，寻求以低维图形表示数据表中行与列之间的关系。

对应分析：用于展示变量（两个/多个分类）间的关系（变量的分类数较多时较佳）；

最优尺度分析：可同时分析多个变量间的关系，变量的类型可以是无序多分类，有序多分类或连续性变量，并 对多选题的分析提供了支持。

5、典型相关分析

基本原理：借用主成分分析降维的思想，分别对两组变量提取主成分，且使从两组变量提取的主成分之间的相关程度达到最大，而从同一组内部提取的各主成分之间互不相关。