Matlab 本课程的范围多元统计分析(Multivariate statist...
 
过去一般采用 SAS 、SPSS 软件分析,本文给出 Matlab 软件在多元统计分析上的应用, 主要介绍 Matlab 在聚类分析、判别分析、主成份分析上的应用,文中均给以实例, ......
 
并日益显示出无比的魅力 . 本文介绍了多元统计分析在数学建模中的应 用. 同时考虑到 Matlab 具有 SAS,SPSS和 接口方 SPLU S等统计软件不可 比拟的操作简单、......
 
MATLAB 的统计工具箱中的多元统计分析中提供了聚类分析的两种方 法: 1.层...
 
t ?0, ?1, ?2 ~回归系数 ?t ~对t相互独立的零均值正态随机变量 基本回归模型的结果与分析参数 MATLAB 统计工具箱 ?0 ?1 ?2 参数估计值 322.7250 置信......
 
多元统计分析课程提纲 成绩评定 平时: 40% 实验课+作业 (课后习题、第9周上交...性和置信度的陈述 分析工具:SPSS、SAS、S-PLUS、MATLAB、R 探索性数据分析 ?...
 
? MATLAB 统计工具箱提供了一个很方便的多元二项式回归命令: Rstool...
 
多元统计分析—R 与 Python 的实现引言吴喜之 June 28, 2019 吴喜之 引言 . ...Stata、 Eviews、Matlab、及微软的 Excel、word 等 Office 软件都是盗 版的.......
 
Equation Chapter 1 Section 1 注意电子文 档使用范围 《多元统计分析》 ...是用户量增加最快的统计软件。它的语言结构和 C++、Fortran、Matlab、Pascal、......
 
【原创】R语言 多元统计分析介绍数据分析数据挖掘案例报告(附代码_计算机软件及应用_IT/计算机_专业资料。【原创】定制代写开发 r/python/spss/matlab/WEKA/sas/......
 
developed in visual and interactions of Toolboxes .%近些年,多元统计分析方法在各个领 域的应用日渐增多,但 MATLAB 在多元统计分析方面的应用与其他热门统计软 ......
 
有网友说 spss 在多元统计分析方面较突出,而 eviews 在计量经济模型方面较优,二者结合应用比较理想; sas 在数据挖掘方面功能较强, matlab、mathematica 软件可能在......
 
多元回归分析方法应用实证分析与比较 白秀琴 1, 李瑞阁 2 【摘要】利用多元统计分析的线性回归分析理论,首先对糖尿病临床采集数据 进行相关分析,了解因素之间的相关......
 
方差分析 7.1 概率论利用MATLAB统计工具箱,可以进行基本概论和数理 统计分析,以及进行比较复杂的多元统计分析。 7.1.1 分布率和概率密度函数(P132表7-1)以正......
 
一般的多元二项式回归模型可表为 MATLAB 统计工具箱提供了一个很方便的多元二项式回归命令: Rstool(x,y, 'model',alpha) 输入 x 为自变量(n×m 矩阵),y 为......
 
坚强似大象 共享知识 分享快乐分地区农村居民消费支出—SAS 和 MATLAB 的相关...多元统计分析期末论文 13页 3下载券 信息系统项目管理师论文... 5页 2......
 
利用统计工具箱提供的 标准函数,使用者可以完成统计上的绝大部分数据分析任务,如:假设检验、方差分析、回 归分析、多元统计分析等。而且 MATLAB 还提供了易学、易......
 
2 学分 MATLAB 编程与量化分析(MATLAB Program and Quantitative Analysis)3 学分 高维面板数据分析(High Dimensional Panel Data Analysis)3 学分 统计降维方法(......
 
多元统计分析 代谢物鉴定 7/45 图 1 基于GC-MS尿液代谢组学研究沙棘籽...
 
MATLAB 层次聚类 应用简述 MATLAB 的统计工具箱中的多元统计分析中提...

 
  多元统计分析
 
 
$$多元统计分析\{\begin{array}{l}主成分分析\\ 因子分析\\ 聚类分析\\ 相关性分析\\ 回归分析\end{array}$$
 主成分分析和因子分析都是降维方法
 

 
  主成分分析
 
 
模型应用背景
 
多个变量存在较强的相关关系，本质是一种降维的方法
 
模型思想
 
①提供一个或多个综合指标
 
②综合指标由原来的变量经过线性组合或加权平均构成的
 
③最大程度区分群体中的个体（方差最大）
 
构造原变量的一系列线性组合，形成一组新的互不相关的新变量，使这些变量尽可能多地反映原变量信息（方差越大，包含信息越多）
 
数学模型
 
变量$x_1,x_2,\cdots ,x_n$经过线性变换后得到新的综合变量$y_1,y_2,\cdots ,y_p$
 $$\{\begin{array}{l}{y}_1=u_1^{T}x=u_{11}{x}_1+u_{12}{x}_2+\cdots +u_{1p}{x}_n第一主成分\\ y_2=u_2^{T}x=u_{21}{x}_1+u_{22}{x}_2+\cdots +u_{2p}{x}_n第二主成分\\ \dots \\ y_p=u_p^{T}x=u_{p1}{x}_1+u_{p2}{x}_2+\cdots +u_{pp}{x}_n第p主成分\end{array}$$
 满足条件：
 $$\begin{gathered} ①u_i^T{u}_i=1=u_{i1}^2+u_{i2}^2+\cdots +u_{ip}^2=1,(i=1,2,3,\cdots )u_i是单位向量 \\ ②Cov(y_i,y_j)=0(i\ne j,i,j=1,2,3,\cdots )线性无关,y间信息不重合 \\ ③Var(y_1)⩾Var(y_2)⩾\cdots ⩾Var(y_p)⩾0) \end{gathered}$$
 方差越大，包含信息越多，信息损失小，达到少数变量最大程度刻画原始信息的目的
 
模型建立步骤
 
1、原始数据标准化处理
 
2、计算相关系数矩阵R
 
3、计算特征值和特征向量
 
4、选择主成分，并对各主成分所包含的信息给与适当解释
 
5、计算综合得分
 
原始数据标准化
 
假定指标变量有p个，共有n个待评价对象，记第i(i=1,2,$\cdots$,n)评价对象的第j个指标的取值为$x_{ij}$,构成的指标向量记为$x_1,x_2,\cdots ,x_p$,将各指标值$x_{ij}$转换成标准化指标$x_{ij}^{\prime }$:
 $$x_{ij}^{\prime }=\frac{x_{ij}-\overline{x_j}}{\sqrt{Var(x_j)}}$$
 其中$\overline{x_j}=\frac{1}{n}{\sum }_{i=1}^n{x}_{ij}Var(x_j)=\frac{1}{n-1}su{m}_{i=1}^n(x_{ij}-\overline{x_j}{)}^2$
 
标准化后的指标向量为：$x_1’,x_2,\cdots ,x_p’$
 
计算相关系数矩阵
 
$$\left\{\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ r_{p1}& r_{p2}& \cdots & r_{pp}\end{array}\right\}$$
 
其中$r_{ij}$是第i个指标和第j个指标的相关系数
 $$r_{ij}=\frac{Cov(x_i^{\prime },x_j^{\prime })}{\sqrt{Var(x_i^{\prime })}\sqrt{(}Var(x_j^{\prime }))}=\frac{1}{n-1}\sum _{k=1}^n{x}_{ki}^{\prime }{x}_{kj}^{\prime }$$
 
计算特征值和特征向量
 
解特征方程$|\lambda I-R|=0$，求得特征值并按从大到小进行排列
 $${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$$
 对应的特征向量为$u_1,u_2,\cdots ,u_p$
 
则第j主成分表达式为：
 $$y_i=u_{1j}{x}_1^{\prime }+u_{2j}{x}_2^{\prime }+\cdots +u_{pj}{x}_p^{\prime }$$
 
选择重要的主成分，计算累计贡献率
 
主成分贡献率：某个主成分的方差占全部方差和的比重，也就是某个特征值占全部特征值总和的比重
 $$第j个主成分的贡献率：{\beta }_j=\frac{{\lambda }_j}{{\sum }_{k=1}^p{\lambda }_k}(j=1,2,\cdots ,p)$$
 前m个成分的累计贡献率：${\alpha }_m={\beta }_1+{\beta }_2+\cdots +{\beta }_m$
 
计算综合得分
 
$$z=\sum _{j=1}^m{\beta }_j{y}_j$$
 
根据每个待评价对象的综合得分值对其进行评价
 

 
  因子分析
 
 
提出因子分析模型来研究如何用几个公共因子来刻画原始变量之间的相关性。
 
因子分析是一种降维的方法
 
对p个原始变量$Y_1,Y_2,\cdots ,Y_p$来说，那些高度相关的变量很可能会遵循一个共同的潜在结构，成为公共因子
 
数学模型
 
对于一个样本，记P个观测指标为$X_1,X_2,\cdots ,X_P$，n个样品的特征构成的矩阵为：
 $$
 X=(X_1,X_2,\cdots,X_p)=
 
			\left\{ \begin{matrix} x_{11}    &x_{12}       & \cdots & x_{1p}        \\ x_{21}      & x_{22}        & \cdots & x_{2p}       \\ \vdots & \vdots   & \vdots & \vdots   \\ x_{n1}&x_{n2}&\cdots&x_{np} \end{matrix} \right\}
 
$$\ast \ast 因子分析就是将观测指标Xi综合为m(m<p)个新的综合指标的线性组合\ast \ast$$
 X_i=a_{i1}F_1+a_{i2}F_2+\cdots+a_{im}F_{m}+\varepsilon_j\quad(i=1,2,\cdots,p)
 $$
 $F_i称为X_i的公共因子，a_{i1},a_{i2},\cdots ,a_{im}因子载荷矩阵（即第i个样本在m个因子方面的能力$
 
${\epsilon }_i:特殊因子（第i个样本不能被这m个因子所包含的部分）$
 
模型条件
 
$$
 ①Cov(F_j,F_k)=I_m\quad(j,k=1,2,\cdots,m)\②Cov(F_j,\varepsilon_i)=0
 \quad没有相关性
 \③Cov(\varepsilon_i,\varepsilon_j)=\left(
 \begin{matrix}
 \sigma_1^2 \
 & \sigma_2^2 \
 
& & \ddots\
 &&&\sigma_p^2
 \end{matrix}
 \right) \quad彼此之间不相关
 $$
 
因子载荷矩阵的统计意义
 
①因子载荷的统计意义
 
$${\gamma }_{xi,Fj}=Cov(x_i,F_j)=Cov(\sum _{j=1}^m{a}_{ij}{F}_j+{\epsilon }_i,F_j)=a_{ij}$$
 
即$a_{ij}$反映了第i个变量xi与第j个公共因子Fj的密切程度。
 
②变量共同度的意义
 
变量共同度是指：载荷矩阵中第i行元素的平方和
 $$h_i^2=\sum _{j=1}^m{a}_{ij}^{2}j=1,2,\cdots ,p$$
 $h_i^2$共同性，由m个因子贡献的方差
 
③公因子方差的统计意义（因子载荷矩阵的第j列元素平方和）
 
$$s_j=\sum _{i=1}^p{a}_{ij}^{2}j=1,2,\cdots ,m$$
 
$s_j$表示同一公共因子$F_j$对各个变量$x_j$所提供的方差贡献总和，它是衡量公共因子相对重要性的指标。
 
$s_j$越大，表示$F_j$对x的贡献越大
 
建模步骤
 
①原始数据标准化处理
 
②计算样本相对系数矩阵R
 
③计算初等载荷矩阵
 
④进行因子旋转
 
⑤计算因子得分
 
原始数据标准化
 
假定指标变量有p个，共有n个待评价对象，记第i(i=1,2,$\cdots$,n)评价对象的第j个指标的取值为$x_{ij}$,构成的指标向量记为$x_1,x_2,\cdots ,x_p$,将各指标值$x_{ij}$转换成标准化指标$x_{ij}^{\prime }$:
 $$x_{ij}^{\prime }=\frac{x_{ij}-\overline{x_j}}{\sqrt{Var(x_j)}}$$
 其中$\overline{x_j}=\frac{1}{n}{\sum }_{i=1}^n{x}_{ij}Var(x_j)=\frac{1}{n-1}su{m}_{i=1}^n(x_{ij}-\overline{x_j}{)}^2$
 
标准化后的指标向量为：$x_1’,x_2,\cdots ,x_p’$
 
计算相关系数矩阵
 
$$\left\{\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1p}\\ r_{21}& r_{22}& \cdots & r_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ r_{p1}& r_{p2}& \cdots & r_{pp}\end{array}\right\}$$
 
其中$r_{ij}$是第i个指标和第j个指标的相关系数
 $$r_{ij}=\frac{Cov(x_i^{\prime },x_j^{\prime })}{\sqrt{Var(x_i^{\prime })}\sqrt{(}Var(x_j^{\prime }))}=\frac{1}{n-1}\sum _{k=1}^n{x}_{ki}^{\prime }{x}_{kj}^{\prime }$$
 
计算初等载荷矩阵
 
计算相关系数矩阵R的特征值为${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_p\ge 0$及对应的标准正交化特征向量$u_1,u_2,\cdots ,u_p$
 
若公共因子个数为m，则主成分因子分析的载荷矩阵A为
 $$A=[{\sqrt{\lambda }}_1{u}_1,{\sqrt{\lambda }}_2{u}_2,\cdots ,{\sqrt{\lambda }}_m{u}_m]$$
 确定公因子提取个数m的方法：
 
1、仅提取特征值大于1的因子
 
2、利用因子的累计方差贡献率来确定公因子提取的个数，一般认为达到60%符合要求
 
进行因子旋转
 
目的：是因子载荷矩阵的结构简化，矩阵中每行或列元素的平方值0和1两级分化
 
方法：
 
①方差旋转法
 
②四次最大正交旋转法
 
③平均正交旋转
 
计算因子得分
 

 
  聚类分析
 
 
是一种亲疏程度的度量
 
样品间的相似度度量——距离
 
记第i个样本为：$x_i=(x_{i1},x_{i2},\cdots ,x_{ip}{)}^T$
 
①绝对距离 $d(x_i,x_j)={\sum }_{k=1}^p|x_{ik}-x_{jk}|$
 
②欧氏距离 $d(x_i,x_j)=[{\sum }_{k=1}^p|x_{ik}-x_{jk}{|}^2{]}^{\frac{1}{2}}$
 
③闵可夫斯基距离 $d(x_i,x_j)=[{\sum }_{k=1}^p|x_{ik}-x_{jk}{|}^m{]}^{\frac{1}{m}}$
 
④切比雪夫距离 $d(x_i,x_j)=ma{x}_{1\le k\le p}|x_{ik}-x_{jk}|$
 
变量间相似性度量——相关系数与夹角余弦
 
相关系数：
 $$r_{jk}=\frac{{\sum }_{i=1}^n(x_{ij}-{\overline{x}}_j)(x_{ik}-{\overline{x}}_k)}{[{\sum }_{i=1}^n(x_{ij}-{\overline{x}}_j{)}^2{\sum }_{i=1}^n(x_{ik}-{\overline{x}}_k{)}^2{]}^{\frac{1}{2}}}$$
 夹角余弦：
 $$c_{jk}=\frac{|x_j,x_k|}{\Vert x_j\Vert \ast \Vert x_k\Vert }$$
 
$$常见的聚类分析法\{\begin{array}{l}最短距离法\\ 类平均法\\ 重心法\\ 动态聚类法\\ K-均值聚类\\ K-中心点聚类\end{array}$$
 
K-means 聚类
 
S1：随机选取K个对象作为初始聚类中心
 
S2：将数据样本集合中的样本按照最小距离原则分配到最邻近类别
 
S3：根据聚类结果，重新计算K个聚类的平均值
 
S4：重复2，3直到聚类中心不再改变
 
优点：计算速度快
 
缺点：结果依赖于聚类的初始值，对噪音和离群点非常敏感
 
层次聚类
 
S1：将n个样本点各看成一类，计算n个样本点两两之间的距离
 
S2：合并距离最近的两类为新类，并且以两类间的距离为聚类图中的平台高度
 
S3：计算新类于当前各类的距离，若类的个数为1，转入S4，否则回到S2
 
S4：画聚类图
 
S5：决定类的个数和类别
 

 
  回归分析
 
 
根据样本信息来描述两种或两种以上变量之间的相互依赖的定量关系的统计分析方法
 
分类
 $$回归模型\{\begin{array}{l}一元回归\{\begin{array}{l}线性回归\\ 非线性回归\end{array}\\ 多元回归\{\begin{array}{l}线性回归\\ 分线性回归\end{array}\end{array}$$
 
一元回归模型
 
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
 
$\epsilon \backsim N(0,{\sigma }^2),{\beta }_0,{\beta }_1$回归系数 x：自变量 y:因变量
 
主要任务
 
①利用样本观测值估计回归系数
 
②对方程的线性关系作显著性检验
 
③利用回归方程作预测
 
回归系数的确定
 
$S=min{\sum }_{i=1}^n(y_1-{\beta }_0-{\beta }_1{x}_i{)}^2$
 
利用最小二乘法可得到${\beta }_0和{\beta }_1$的值
 
回归方程的显著性检验
 
对n个样本点(xi,yi)，其回归方程为：$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$
 
检验该回归方程是否有意义的问题可以转化为检验一下假设$H_0$是否为真
 $$H_0:{\beta }_1=0\leftrightarrow H_1:{\beta }_1\ne 0$$
 检验方法
 
F检验
 
判断系数$R^2$的检验
 
多元线性回归模型
 
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2\cdots +{\beta }_m{x}_m+\epsilon$$
 
系数估计——最小二乘法
 $$S=min\sum _{i=1}^n(y_i-{\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2\cdots +{\beta }_m{x}_m{)}^2$$
 回归方程的显著性检验
 
检验因变量与所有自变量和之间是否存在一个显著的线性关系
 
假设：
 $$\begin{gathered} H_0:{\beta }_1={\beta }_2=\cdots ={\beta }_m=0 \\ {H}_1:{\beta }_1,{\beta }_2,\cdots ,{\beta }_m至少有一个不等于0 \end{gathered}$$
 当$H_0$为真时，则表示y不受x的影响，说明模型不成立。
 
当$H_1$为真时，则x与y之间有一定的线性关系，说明模型可以成立。
 
检验方法
 
F检验，判定系数检验

 
Ch1 基本概念
 
x1
 
1.多元总体：该总体有多个属性，可表示为X=…，考察一个P元总体即是考察这个总体中每
 
xp个对象的P个属性。
 
x11,x12,…,x1n
 
…2.多元样本数据：X= x1,x2…xn = xp1,xp2,…,xpn
 
3.多元总体的样本统计参数： 3.1 单总体
 
3.1.1 分属性行样本统计参数 样本平均值向量：
 
中心化数据：原始数据-平均数
 
标准化数据=中心化数据/该行样本标准差
 
样本离差矩阵Q：Q=XX’,即两两中心化属性行乘积和，qαβ= nx xβi−x (1≤αβ1 xαi− α,β≤p)
 
样本协方差矩阵S：S=Q/n=XX’/n(n为样本数)
 
样本相关矩阵R：用X中的两行计算两属性间的相关，rαβ=
 
=
 
3.1.2 样本间统计参数
 
各种距离：欧氏距离，马氏距离，B模距离，绝对距离，切比雪夫距离 相似系数：
 
定量：用X中的两列算出的相关系数；夹角余弦cαβ=′p 1
 
xαi2 1
 
xαj
 
2
 
定性：首先转化为0,1型定性数据；对于p元总体的变量α，两样本单元i,j配对情况有四种
 
(1,1),(1,0),(0,1),(0,0)，分别用a,b,c,d表示所有变量中这四种情况出现的次数。显然a,d出现的次数越多，两样本越接近。由此定义匹配系数：fij=fij=
 
a+dp
 
=1−
 
绝对距离
 
p
 
3.2 两总体(样本数均为n)
 
c11,c12,…,c1q
 
…两组样本的协方差矩阵：Yp×n,Xq×n,Y与X的协方差矩阵cov y,x ==cp1,cp2,…,cpq′Y,X中心化数据)，其中cαβ=n ny xβi−x (α≤p,β≤q),注意αβ1 yαi− 两个样本的协方差一般不对称，即cαβ≠cβα。
 
1
 
Ch2 主分量分析 2.1主分量分析
 
2.1.1原理:从变量着手分析，将原来多个指标化为少数几个相互独立的综合指标的一种统计方法。
 
2.1.2数学表示：原变量X经正交变换U得到Y，Y=UX，使y1,yi,…,yn独立，且yi在所有与y1,y2,…,yi−1独立的随机变量中，yi具有最大方差。至于如何求U，事实上，所谓的最大方差即D x =n n xβi−x 的特征根，U’的第j列向量即为λjαβ1 xαi−x的特征向量。
 
2.1.3 求解正交变换：实际中无法得到D(x)，而是利用样本方差Sx来求正交变换。
 
2.1.4 贡献率：代表样本点在这个主分量方向上的分散程度，若其值很小，表示样本在该方向上的分散很小，这个主分量在分析样本数据时所起作用不大。ηj=
 
λj
 
S11+S22+。。。+Spp
 
λj
 
λ1+λ2+。。。+λp
 
1
 
=
 
j=1,2,…,p (Sii为Sx主对角线上元素)
 
2.1.5 因子负荷量：主分量yk与原分量xj相关系数称为第j因子在第k个主分量上的负荷量。几何解释为原坐标上单位长度在某个主坐标轴上的投影长度。其样本估计值为r(λk∙xj)=
 
2.2 R分析：从标准化数据出发的主分量分析。 2.3 q分析：从样本着手分析，
 
2.3.1原理 ：压缩样本，找出典型的综合样本
 
′X= p2.3.2 数学表示：仍然先求样本间的相似系数，Qnn i,j =X i xαj−x j 1 xαi−x
 
p
 
1
 
再找V使得VQV’为对角矩阵，令Y=x v′即得综合样本中的主分量。
 
2.4 R型分析与Q型分析的联系
 
令R=XX’,Q=X’X，u,v分别为R,Q对应λ的单位特征向量 2.4.1 R,Q的非零特征根相同 2.4.2 v=αX’u, u=βXv
 
Ch3 其他简化数据结构及样本排序方法 3.1 主坐标分析
 
3.1.1 原理：构造坐标系，任两个样本在主坐标系中的欧氏距离等于事先给定的抽象距离。 3.1.2 数学方法：有原始点对间的距离mij出发，根据两者变换关系，计算出每一样本点在新坐标系下的坐标为aij的矩阵A；求出A的特征根与特征向量Vi；令C= V 3.2 主坐标分析与距离的关系
 
并非任意给定的距离矩阵M均可找到其主坐标。 3.2.1 欧氏距离
 
从原始数据出发，采用欧氏距离计算M，主坐标分析与主分量分析相同 3.2.2 绝对距离
 
从原始0,1数据出发，按匹配系数决定的距离构成M，主坐标与主分量相同 3.2.3 B模距离：主坐标分析总有解。 3.3 数量化方法:
 
3.3.1 原理：方差分析的方法(总方差固定条件下样本间方差最大化)同时排列样本与变量 3.3.2 数学方法：有原始阵求行和gj,列和fi 按公式计算Xji,A=XX’ 求特征根，特征向量，
 
按公式计算变量得分与样本得分，所谓得分即是新坐标下的坐标值。
 
Ch4 聚类分析 4.1 聚类方法 两种分类方案：
 
系统聚类方法：n个样本分n类，找最相近的合并至只有k个类。 系统分类法见表
 
最优分割法：类似于离差平方和法
 
Step1:定义类的直径——该类样本的离差平方和 Step2:定义误差函数：各类直径之和D Step3:最小化误差函数下的递推公式：f(p(m,n))=min(f(p(m-1,j-1))+D(j,n)),n个样本分成m类的最优分法，可看成j-1样本分成m-1类的最优分法再加上最后(n+1-j)样本形成的m类样本合并而成。j可由m一直变到n，从中挑选出最优的j。 Step4:聚类。
 
最优分割法需要两张表：类直径一览表D；最小误差函数表f,根据类别数，i可分别取到2,3，。。。，m.总样本数j为2,3,4….n。根据递推公式求出不同配对(i,j)下的f(p(I,j))进行不同i下的分类。
 
Ch5 两组变量之间关系
 
5.1 典型相关分析：把原来较多变量化为少数几个典型变量，通过这几个典型变量间典型相关系数来综合描述两个多元随机变量间关系的数学方法。 给出计算方法；
 
Step1：将n个样本得到的二组原始矩阵Xpn,Yqn标准化，计算X,Y的相关矩阵Sxx,Syy,Sxy Step2:计算Sxx−1Sxy,Syy−1Syx Step3:D=Syy−1SyxSxx−1Sxy
 
Step4:求D的前k个特征根λj和特征向量v ，令归一化后为vj=Step5:令uj=
 
1λj
 
1cj
 
v j，其中cj=v j′Syyv j
 
Sxx−1Sxyvj, uj,vj为相应于λj的一对典型变量的系数。
 
Step6:计算典型变量：zj=u′jx,wj=vj′y,(j=1,2,…,k)
 
5.2 多元线性回归
 
X ′, Lxy=X Y ′=Lxy′, X ,Y 为中心化数据 Step1:离差矩阵Lxx=X
 
Step2:计算系数矩阵B和常数项向量b0: LxxB′=Lxy,b0=y −Bx ,y ,x 分别为X，Y的平均数。 Step3:计算剩余离差矩阵Q=Lyy−BLxy,计算剩余协方差矩阵S=Q/(n-q-1);
 
Ch6 特殊分布
 
6.1 多元正态分布和χ2分布
 
明确几个从一维到多维推广的基本概念
 
6.1.1多维正态变量的定义是从一维正态分布定义而来的：x是p维随机变量，对任意p维向量a, x的线性函数y=a’x是遵从一维正态分布的随机变量，则称x是遵从p维正态分布的随机变量。记平均向量为u，协方差矩阵为 σ2的p维正态变量x为x~Np(μ, σ2). 多维正态分布的性质：
 
1.若x~Np(μ, σ2)，则对任意p维常向量a,有
 
a′x~N1 a′μ,a′ σ2 a ;
 
2.若x~Np(μ, σ2)，A是qp矩阵，则
 
Ax~Nq Aμ,A σ2 A′
 
3. 若x~Np(μ, σ2)，对p维常向量a,有
 
x∓a~Np μ∓a, σ2
 
4. Ax与Bx相互独立的充要条件是cov(Ax,Bx)=A σ2 B’=0
 
5.若x1,x2,..,xk是相互独立的p维正态变量，xi~Np μi, σi2 ,则对任意常数
 
kk22
 
a1,a2,..,ak, k1aixi~Np 1aiμi, 1aiσi
 
6.1.2 正态样本矩阵
 
x1,x2,..,xn是相互独立的p维随机变量，服从同一正态分布，则Xpn=[x1,x2,..,xn]称为正态样本矩阵
 
定理6.1：对于Xpn，若其中各向量满足xi~Np μi, σi2 ，则有以下两个性质：
 
1.对任意p维向量a,X′a~Nn a′μ1n,a′ σ2 aIn , ,X′a为n个样本的各指标间的线性组合，其各分量相互独立。
 
2.对任意n维向量b, Xb~Np (1n′b)μ,bb′ σ2 ，Xb为p个指标各样本间的线性组合，其各分量一般不相互独立。
 
6.1.3 多元正态分布与χ2分布的关系
 
定理6.2：xi~Np 0, σi2 ，则二次型x′ σ2 −1x~χ2(p)
 
6.1.4 χ2分布的几条重要定理
 
定理6.3：若x′=[x1,x2,..,xn]~N1(0,σ2I)，A是nn对称幂等阵，秩为r,则x′Ax~σ2χ2(r) 定理6.4：若x′= x1,x2,..,xn ~N1 0,σ2I ，若A是对称幂等阵，B为任意矩阵，BA=0，则正态分布Bx和χ2分布x′Ax相互独立；若AB都是幂等阵，AB=0，则x′Ax与x′Bx相互独立。 6.2维希特分布：χ2分布在多元统计变量中的推广
 
6.2.1 维希特分布定义：n个p维变量x1,x2,..,xn~Np(0,σ2I)，Xpn=[x1,x2,..,xn]是样本矩
 
2
 
阵，则Wpp= n1xjxj′=XX′的分布为自由度为n的p维维希特分布，记为Wp(n, σ ) 6.2.2 维希特分布与χ2分布的关系
 
x~Np 0, σ2 x1,x2,..,xn是其n个样本，任取一个p维向量a，则定义y=a′x~N1 0,a′ σ2 a ,则有y1=a′x1,y2=a′x2,…,yn=a′xn是总体y的n个样本。按χ2分布
 
n22′22′22
 
的定义：Q= n。 1yj~a σ aχ(n)，而Q= 1yj=a’XX’a=a’Wa,故a’Wa~a σ aχ(n)，定理6.5：W服从维希特分布W(n, σ2 )的充要条件是对任意p维向量a,二次型Q=a’Wa~a′ σ2 aχ2(n) 6.2.3维希特分布的性质
 
定理6.6：若Ann是对称幂等阵，秩为r, x1,x2,..,xn~Np 0, σ2 且相互独立，令Xpn=[x1,x2,..,xn]是样本矩阵，则XAX’ ~WP(r, σ2 )
 
定理6.7：x1,x2,..,xn~Np 0, σ2 且相互独立，Xpn=[x1,x2,..,xn]是样本矩阵，对任意n维向量a与对称幂等阵Ann，若Aa=0, 则正态分布Xa和维希特分布XAX′相互独立；若AB都是幂等阵，AB=0，则XAX′与XBX′相互独立。 6.2.4 样本离差矩阵的分布
 
x~Np μ, σ2 x1,x2,..,xn是其n个样本，Xpn=[x1,x2,..,xn]是样本矩阵，样本离差矩阵定
 
11′ (I−111′)X ′，其中 义为：Qpp=X(I−n11′)X′= XX=X−μ1,(I−11′)是对称幂等阵，秩为nn
 
n-1，则由定理6.6有Qpp~Wp n−1, σ2 。即由p元正态总体中抽出n个样本，则其样本离差平方和矩阵Q服从自由度为n-1的p维维希特分布。 6.3 统计量T2和Λ
 
6.3.1 统计量T2是一元t分布的推广：若W~WP(n, σ2 ), y~Np 0,c σ2 ,c为一正常数，W与y相互独立，称统计量T2=cy′W−1y是自由度为(p,n)的T2变量。 定理6.8：若T2变量服从T2(p,n),则有
 
n−p+1np
 
n
 
T2~F p,n−p+1
 
6.3.2 总体平均值的估计值与置信区域
 
x~Np μ, σ2 x1,x2,..,xn是其n个样本，Xpn=[x1,x2,..,xn]是样本矩阵，μ的无偏估计
 
σ 11
 
x =Xpn1, x −μ= X1~Np 0,, Qpp~Wp n−1, σ2 ,且x −μ与Q相互独立，则 nnn
 
2
 
T2=n n−1 x −μ ′Q−1(x −μ) 自由度为(p,n-1)的T2变量,故中，
 
n−pp
 
n−1 −p+1(n−1)p
 
T2~F p,n−p ,实际
 
x −μ ′S−1(x −μ)~F p,n−p ,其中S=Q/n是样本协方差矩阵。
 
pF
 
应用：给定置信度α，即可求置信区域为 x −μ ′S−1(x −μ)≤n−α p
 
6.3.3 广义方差：p维随机变量x的协方差矩阵为 σ2， σ2 为广义方差。 6.3.4 Λ统计量：F统计量的推广
 
Λ统计量：W1~WP n1, σ2 ,W2~WP n2, σ2 ,Λ= W当p=1时，Λ=Q
 
Q1
 
1+Q2
 
W1
 
1+W2
 
(p, n1,n2)的Λ分布
 
=
 
11+F
 
n1
 
Λ统计量的分布：当p>8, n2
 
p+n2−1
 
2
 
v=−(n1+n2−
 
p+n2−1
 
2
 
Λ p,n1,n2
 
ch7 假设检查和方差分析
 
7.1 两总体平均向量的假设检查
 
7.2 协方差矩阵的检查
 
最大似然比：没有限制条件时最大似然值为FΩ，增加假设参数间的关系也即增加了限制条件，在满足限制条件下求最大似然值Fω，引入统计量λω=
 
FωFΩ
 
λω定义为最大似然比。Λω
 
越接近1，说明在加上假设的限制条件后与不加假设一样 ，说明假设的限制条件是实际存在的，也即假设
 
的关系符合实际

 
应用多元统计分析课后答案朱建平版 
 
1第二章2.1.试叙述多元联合分布和边际分布之间的关系。解：多元联合分布讨论多个随机变量联合到一起的概率分布状况， 的联12(,)pX合分布密度函数是一个 p 维的函数，而边际分布讨论是 的子向量的概率12(,)p分布，其概率密度函数的维数小于 p。2.2 设二维随机向量 服从二元正态分布，写出其联合分布。12()X解：设 的均值向量为 ，协方差矩阵为 ，则其联合1212μ21分布密度函数为。1/2 12 21 1() exp()()f x μxμ2.3 已知随机向量 的联合密度函数为12()X121212[()()](,)dcxabxcaxcfxd其中 ， 。求1ab2(1)随机变量 和 的边缘密度函数、均值和方差；X(2)随机变量 和 的协方差和相关系数；12(3)判断 和 是否相互独立。(1)解：随机变量 和 的边缘密度函数、均值和方差；1X221 12122[()()()]()dxcxabxcaxcf dd1221222)([()()]dc xbabac12 12 20()[()()]dcdcxtxtd1212 20()[()()]cdcabattbdba所以由于 服从均匀分布，则均值为 ，方差为 。1X2ba21同理，由于 服从均匀分布 ，则均值为 ，2 2 ,()0 xxcdfd其 它 2dc方差为 。21dc(2)解：随机变量 和 的协方差和相关系数；1X212cov(,)x 121212 12[()()()]dbca dcxabxcaxcx dd()36db12cov,x(3)解：判断 和 是否相互独立。1X2和 由于 ，所以不独立。1212(,)()xff2.4 设 服从正态分布，已知其协方差矩阵为对角阵，证明其分量是相互(,p3独立的随机变量。解： 因为 的密度函数为12(,)pX 1/ 11(,.)ex()()2pfxΣμΣx又由于212p221pΣ21221pΣ则 1(,.)pfx 211/22 21 2exp() ()1p p        ΣμΣxμ  2221 3112 ()()()1exp.p pxx     211()e().pii pii f 则其分量是相互独立。42.5 由于多元正态分布的数学期望向量和均方差矩阵的极大似然分别为 1ˆniiμX1ˆ()niii nΣX3560.2ˆ7.1μ2058.390.837250.-73680.39615ˆ7.119.-6-5-9   Σ注：利用 , S 其中 1pnX1()nnXI 01nI在 SPSS 中求样本均值向量的操作步骤如下：1. 选择菜单项 Analyze→Descriptive Statistics→Descriptives，打开 Descriptives 对话框。将待估计的四个变量移入右边的 Variables 列表框中，如图 2.1。图 2.1 Descriptives 对话框2. 单击 Options 按钮，打开 Options 子对话框。在对话框中选择 Mean 复选框，即计算样本均值向量，如图 2.2 所示。单击 Continue 按钮返回主对话框。5图 2.2 Options 子对话框3. 单击 OK 按钮，执行操作。则在结果输出窗口中给出样本均值向量，如表 2.1，即样本均值向量为(35.3333，12.3333，17.1667，1.5250E2) 。表 2.1 样本均值向量在 SPSS 中计算样本协差阵的步骤如下：1. 选择菜单项 Analyze→Correlate→Bivariate，打开Bivariate Correlations 对话框。将三个变量移入右边的 Variables 列表框中，如图2.3。图 2.3 Bivariate Correlations 对话框2. 单击 Options 按钮，打开 Options 子对话框。选择Cross-product deviations and covariances 复选框，即计算样本离差阵和样本协差阵，如图 2.4。单击 Continue 按钮，返回主对话框。6图 2.4 Options 子对话框3. 单击 OK 按钮，执行操作。则在结果输出窗口中给出相关分析表，见表 2.2。表中 Covariance 给出样本协差阵。 (另外，Pearson Correlation 为皮尔逊相关系数矩阵，Sum of Squares and Cross-products 为样本离差阵。 )2.6 渐近无偏性、有效性和一致性；2.7 设总体服从正态分布， ，有样本 。由于 是相互独立的正态~(,)pNXμΣ12,.nXX分布随机向量之和，所以 也服从正态分布。又 111()nnni iii iEEμ22111()nnni ii i iDDΣXX所以 。~(,)pNμΣ72.8 方法 1： 1ˆ()niiiΣX1nii1ˆ()()niiEΣX1nii E。1(1)ni nΣΣ方法 2： 1()niiiSX-1((ni ii -μ)-μX)11()2()()nnii ii i n  X--μ)X1()()()niii-μXμ1()()niii nX-1()()()niiiEn   S-μXμ。1()()niii EX- Σ故 为 的无偏估计。SΣ2.9.设 是从多元正态分布 抽出的一个简单随机样本，试求(1)2()n,., ~(,)pNμ的分布。证明： 设8为一正交矩阵，即 。**()11ijnnΓ ΓI令 ，1212nΖ=(Ζ)=X ,34,iXΓ由 于 独 立 同 正 态 分 布 且 为 正 交 矩 阵所以 。且有12()n 独 立 同 正 态 分 布， ， 。1nniiΖΧ1(()niiEnΖΧμ()VarnZΣ1())(,23,)naajEr 1najμ10najir1()()naajVrΖΧ2211nnajjajrΣ所以 独立同 分布。2nΖ (0,)N又因为 1()njjiSX1njj因为 11nni ini i XXZ9又因为 nnjj XX 212111212nnΓ 1212nZZ 所以原