一、简介

 高斯分布是一种重要的模型，也被称作正态分布，其广泛应用与连续型随机变量的分布中。在数据分析领域中高斯分布占有重要地位。掌握高斯分布是学习数据分析的重要基础，下面就结合理论公式和其几何图形来阐述。
 高斯分布会在许多问题中产生。例如，对于一个一元实值向量，使熵取得最大值的是高斯分布；中心极限定理告诉我们：一组随机变量之和的概率分布随着和式中项的数量的增加而逐渐趋向于高斯分布。如果有N个均匀分布在区间$[0,1]$的变量$x_1,x_2,...,x_N$,其均值$\frac{1}{N}{\sum }_{i=1}^{i=N}{x}_i$的分布，对于N很大时，这个分布趋向于高斯分布，当N增大时，其均值的分布如下图（图片来源于：《模式识别与机器学习》）所示。

二 、一元高斯分布

 若随机变量$X$服从均值为$\mu$,方差为${\sigma }^2$的高斯分布，那么：
$$f(x;\mu ,\sigma )=\frac{1}{\sigma (2\pi {)}^{\frac{1}{2}}}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
 高斯分布的图形像钟一样，下图展示了一般正态分布的图形。其中$\mu =0,\sigma =1$。

 对于一个非标准的正态分布，可以由标准正态分布经过以下3步变换得到：

1. 将x向右移动u个单位
2. 将密度函数x轴延展sigma倍
3. 将函数密度图像y轴压缩$\sigma$倍

 如果$X$服从分布，$X\sim N(\mu ,{\sigma }^2)$，那么具有以下的性质：

1. 如果$a,b$是实数，那么$aX+b\sim N(a\mu +b,(a\sigma {)}^2)$
2. 如果$Y\sim N({\mu }_y,{\sigma }_y^2)$,$X\sim N({\mu }_x,{\sigma }_x^2)$,且$X,Y$相互独立，那么$X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$,$X-Y\sim N({\mu }_x-{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$
3. 如果$X_1,X_2,...,X_n$为独立标准正态分布，那么 $X_1^2+X_2^2+...+X_n^2$服从自由度为n的卡方分布。

三、多元高斯分布

1、独立多元高斯分布

  假设$n$个变量$\mathbf{x}=[x_1,x_2,...,x_n{]}^T$相互独立,且服从高斯分布，各个维度的均值$E(\mathbf{x})=[u_1,u_2,...,u_n{]}^T$ ,方差$\sigma (\mathbf{x})=[{\sigma }_1,{\sigma }_2,...,{\sigma }_n{]}^T$,根据联合概率密度公式有：
$$f(\mathbf{x})=p(x_1,x_2,...,x_n)=p(x_1)p(x_2)...p(x_n)=\frac{1}{(\sqrt{2\pi }{)}^n{\sigma }_1{\sigma }_2...{\sigma }_n}{e}^{-\frac{(x_1-u_1{)}^2}{2{\sigma }_1^2}-\frac{(x_2-u_2{)}^2}{2{\sigma }_2^2}...-\frac{(x_n-u_n{)}^2}{2{\sigma }_n^2}}$$
  如果我们令：
$$z^2=\frac{(x_1-u_1{)}^2}{2{\sigma }_1^2}+\frac{(x_2-u_2{)}^2}{2{\sigma }_2^2}...+\frac{(x_n-u_n{)}^2}{2{\sigma }_n^2},{\sigma }_z={\sigma }_1{\sigma }_2...{\sigma }_n$$
  我们有：
$$f(z)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }_z}{e}^{-z^2}$$
  使用矩阵的形式来表示的话，则有：
$$z^2=[x_1-u_1,x_2-u_2,...,x_n-u_n]\left[\begin{array}{ccccc}{\sigma }_1^{-2}& 0& 0& ...& 0\\ 0& {\sigma }_2^{-2}& 0& ...& 0\\ .& .& .& ...& .\\ .& .& .& ...& .\\ .& .& .& ...& .\\ 0& 0& 0& ...& {\sigma }_n^{-2}\end{array}\right][x_1-u_1,x_2-u_2,...,x_n-u_n{]}^T$$
  定义符号：
$$\mathbf{x}-{\mathbf{u}}_{\mathbf{x}}=[x_1-u_1,x_2-u_2,...,x_n-u_n{]}^T$$

$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}{\sigma }_1^2& 0& 0& ...& 0\\ 0& {\sigma }_2^2& 0& ...& 0\\ .& .& .& ...& .\\ .& .& .& ...& .\\ .& .& .& ...& .\\ 0& 0& 0& ...& {\sigma }_n^2\end{array}\right]$$
$${\sigma }_z=|\mathbf{\Sigma }{|}^{\frac{1}{2}}$$

  变量代换可得：
$$f(z)=\frac{1}{(2\pi {)}^{\frac{n}{2}}{\sigma }_z}{e}^{-z^2}=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{(\mathbf{x}-{\mathbf{u}}_{\mathbf{x}}{)}^{\mathbf{T}}(\mathbf{\Sigma }{)}^{-1}(\mathbf{x}-{\mathbf{u}}_{\mathbf{x}})}$$
下面以$\mathbf{x}=[x_1,x_2]$ 为例，画出二元高斯分布在变量之间相互独立的图像：

1.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 0\\ 0& 5\end{array}\right]$时：

   

2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$时：

   
   

3.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 0\\ 0& 1\end{array}\right]$时：

   

4. 2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 0\\ 0& 5\end{array}\right]$时：

 由上图可以看出，当变量之间相互独立的时候：

1. 当协方差矩阵的特征值越小时，分布函数图像越高越尖。
2. 当协方差矩阵的特征值相等时，分布函数图像在X1，X2面上的投影是圆形的。当特征值不相等时，分布函数图像在X1，X2面上的投影是椭圆形的，X1，X2相互独立时，椭圆的长轴和短轴平行与坐标轴。且变量对应的特征值越大，该变量分布的范围越分散，在二元高斯分布中，对应特征值大的变量在函数投影图像中对应的是椭圆的长轴。高维的高斯分布情况可以按照这个规律进行推广。

2、多元相关变量高斯分布

 当变量之间存在相关关系的时候，协方差矩阵不再是对角阵，而是一个对称的矩阵，矩阵的每个元素${\sigma }_{ij}^2$表示变量$i,j$的协方差。

1.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}5& 1\\ 1& 1\end{array}\right]$时：
2.  当 $\mathbf{u}=[0,0]\mathbf{\Sigma }=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]$时：

 从上面2个图像中可以看出，变量之间具有相关关系时，与变量之间相互独立最大的区别是，投影面的椭圆长短轴不再平行与坐标轴。
&emsp；如果我们将坐标轴X1，X2旋转一下，与椭圆的长短轴平行，如下图所示：

 由独立变量的二元高斯分布知，那么在新的坐标系下，$x_1^{\prime },x_2^{\prime }$是相互独立的。上述过程称作为去相关性，这也是经典的降维方法主成分分析PCA的基础。以下是新坐标系的求解和原坐标系上的点在新坐标系下的坐标数学表达。
 根据协方差矩阵的特征方程求解协方差矩阵的单位正交特征向量（先求出特征向量，再进行正交化与单位化）,
$$\mathbf{\Sigma }{u}_i={\lambda }_i{\mu }_i$$
  假设上式中${\mu }_i=[u_{i1},u_{i2}{]}^T$已经被单位正交化，以二维高斯分布为例
$$\mathbf{U}=\left[\begin{array}{cc}{u}_{11}& u_{21}\\ u_{12}& u_{22}\end{array}\right]$$
 新坐标系的坐标轴为${\mu }_1=[u_{11},u_{12}{]}^T$，${\mu }_2=[u_{21},u_{22}{]}^T$
 新坐标系下，原坐标下下点的坐标为：
$$\left[\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\end{array}\right]=\mathbf{U}\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{cc}{u}_{11}& u_{21}\\ u_{12}& u_{22}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$
此时$x_1^{\prime },x_2^{\prime }$之间没有相关关系。

正态分布（Normal distribution)，也称高斯分布（Gaussian distribution）

[编辑]

什么是正态分布

　　正态分布是一种概率分布。正态分布是具有两个参数μ和σ2的连续型随机变量的分布，第一参数μ是遵从正态分布的随机变量的均值，第二个参数σ2是此随机变量的方差，所以正态分布记作N(μ，σ2 )。遵从正态分布的随机变量的概率规律为取 μ邻近的值的概率大 ，而取离μ越远的值的概率越小；σ越小，分布越集中在μ附近，σ越大，分布越分散。正态分布的密度函数的特点是：关于μ对称，在μ处达到最大值，在正（负）无穷远处取值为0，在μ±σ处有拐点。它的形状是中间高两边低 ，图像是一条位于x 轴上方的钟形曲线。当μ＝0，σ2 ＝1时，称为标准正态分布，记为N（0，1）。μ维随机向量具有类似的概率规律时，称此随机向量遵从多维正态分布。多元正态分布有很好的性质，例如，多元正态分布的边缘分布仍为正态分布，它经任何线性变换得到的随机向量仍为多维正态分布，特别它的线性组合为一元正态分布。

[编辑]

正态分布的发展

　　正态分布是最重要的一种概率分布。正态分布概念是由德国的数学家和天文学家Moivre于1733年首次提出的，但由于德国数学家Gauss率先将其应用于天文学家研究，故正态分布又叫高斯分布。高斯这项工作对后世的影响极大，他使正态分布同时有了“高斯分布”的名称，后世之所以多将最小二乘法的发明权归之于他，也是出于这一工作。高斯是一个伟大的数学家，重要的贡献不胜枚举。但现今德国10马克的印有高斯头像的钞票，其上还印有正态分布的密度曲线。这传达了一种想法：在高斯的一切科学贡献中，其对人类文明影响最大者，就是这一项。在高斯刚作出这个发现之初，也许人们还只能从其理论的简化上来评价其优越性，其全部影响还不能充分看出来。这要到20世纪正态小样本理论充分发展起来以后。皮埃尔-西蒙·拉普拉斯很快得知高斯的工作，并马上将其与他发现的中心极限定理联系起来，为此，他在即将发表的一篇文章(发表于1810年）上加上了一点补充，指出如若误差可看成许多量的叠加，根据他的中心极限定理，误差理应有高斯分布。这是历史上第一次提到所谓“元误差学说”——误差是由大量的、由种种原因产生的元误差叠加而成。后来到1837年，海根(G.Hagen)在一篇论文中正式提出了这个学说。

　　其实，他提出的形式有相当大的局限性：海根把误差设想成个数很多的、独立同分布的“元误差” 之和，每只取两值，其概率都是1/2，由此出发，按狄莫佛的中心极限定理，立即就得出误差(近似地)服从正态分布。皮埃尔-西蒙·拉普拉斯所指出的这一点有重大的意义，在于他给误差的正态理论一个更自然合理、更令人信服的解释。因为，高斯的说法有一点循环论证的气味：由于算术平均是优良的，推出误差必须服从正态分布；反过来，由后一结论又推出算术平均及最小二乘估计的优良性，故必须认定这二者之一(算术平均的优良性，误差的正态性) 为出发点。但算术平均到底并没有自行成立的理由，以它作为理论中一个预设的出发点，终觉有其不足之处。拉普拉斯的理把这断裂的一环连接起来，使之成为一个和谐的整体，实有着极重大的意义。

[编辑]

正态分布的主要特征

　　1、集中性：正态曲线的高峰位于正中央，即均数所在的位置。

　　2、对称性：正态曲线以均数为中心，左右对称，曲线两端永远不与横轴相交。

　　3、均匀变动性：正态曲线由均数所在处开始，分别向左右两侧逐渐均匀下降。

　　4、正态分布有两个参数，即均数μ和标准差σ，可记作N（μ，σ）：均数μ决定正态曲线的中心位置；标准差σ决定正态曲线的陡峭或扁平程度。σ越小，曲线越陡峭；σ越大，曲线越扁平。

　　5、u变换：为了便于描述和应用，常将正态变量作数据转换。

[编辑]

正态分布的应用

　　1．估计正态分布资料的频数分布

　　例1.某地1993年抽样调查了100名18岁男大学生身高（cm），其均数=172.70cm，标准差s=4.01cm，

　　①估计该地18岁男大学生身高在168cm以下者占该地18岁男大学生总数的百分数；

　　②分别求、、范围内18岁男大学生占该地18岁男大学生总数的实际百分数，并与理论百分数比较。

　　本例，μ、σ未知但样本含量n较大，按式用样本均数和标准差S分别代替μ和σ，求得u值，u=(168-172.70)/4.01=-1.17。查附表标准正态曲线下的面积，在表的左侧找到-1.1，表的上方找到0.07，两者相交处为0.1210=12.10%。该地18岁男大学生身高在168cm以下者，约占总数12.10%。其它计算结果见表-1。

　　表-1：1100名18岁男大学生身高的实际分布与理论分布

　　2．制定医学参考值范围：亦称医学正常值范围。它是指所谓“正常人”的解剖、生理、生化等指标的波动范围。制定正常值范围时，首先要确定一批样本含量足够大的 “正常人”，所谓“正常人”不是指“健康人”，而是指排除了影响所研究指标的疾病和有关因素的同质人群；其次需根据研究目的和使用要求选定适当的百分界值，如80%，90%，95%和99%，常用95%；根据指标的实际用途确定单侧或双侧界值，如白细胞计数过高过低皆属不正常须确定双侧界值，又如肝功中转氨酶过高属不正常须确定单侧上界，肺活量过低属不正常须确定单侧下界。另外，还要根据资料的分布特点，选用恰当的计算方法。常用方法有：

　　（1）正态分布法：适用于正态或近似正态分布的资料。

　　双侧界值：单侧上界：，或单侧下界：

　　（2）对数正态分布法：适用于对数正态分布资料。

　　双侧界值：；单侧上界：，或单侧下界：。

　　常用u值可根据要求由表-2查出。

　　（3）百分位数法：常用于偏态分布资料以及资料中一端或两端无确切数值的资料。

　　双侧界值：P2.5和P97.5；单侧上界：P95，或单侧下界：P5。

　　表-2：常用u值表

　　3．正态分布是许多统计方法的理论基础：如t分布、F分布、x2分布都是在正态分布的基础上推导出来的，u检验也是以正态分布为基础的。此外，t分布、二项分布、Poisson分布的极限为正态分布，在一定条件下，可以按正态分布原理来处理。

[编辑]

数据正态分布检验 Q-Q图[1]

　　要观察某一属性的一组数据是否符合正态分布，可以有两种方法（目前我知道这两种，并且这两种方法只是直观观察，不是定量的正态分布检验）：

　　1：在spss(Statistical Package for the Social Sciences，即“社会科学统计软件包”)里的基本统计分析功能里的频数统计功能里有对某个变量各个观测值的频数直方图中可以选择绘制正态曲线。具体如下：Analyze-----Descriptive Statistics-----Frequencies，打开频数统计对话框，在Statistics里可以选择获得各种描述性的统计量，如：均值、方差、分位数、峰度、标准差等各种描述性统计量。在Charts里可以选择显示的图形类型，其中Histograms选项为柱状图也就是我们说的直方图，同时可以选择是否绘制该组数据的正态曲线（With norma curve），这样我们可以直观观察该组数据是否大致符合正态分布。如下图：

　　从上图中可以看出，该组数据基本符合正态分布。

　　2：正态分布的Q-Q图：在spss里的基本统计分析功能里的探索性分析里面可以通过观察数据的q-q图来判断数据是否服从正态分布。

　　具体步骤如下：Analyze-----Descriptive Statistics-----Explore打开对话框，选择Plots选项，选择Normality plots with tests选项，可以绘制该组数据的q-q图。图的横坐标为改变量的观测值，纵坐标为分位数。若该组数据服从正态分布，则图中的点应该靠近图中直线。

　　纵坐标为分位数，是根据分布函数公式F(x)=i/n+1得出的.i为把一组数从小到大排序后第i个数据的位置，n为样本容量。若该数组服从正态分布则其q-q图应该与理论的q-q图（也就是图中的直线）基本符合。对于理论的标准正态分布，其q-q图为y=x直线。非标准正态分布的斜率为样本标准差，截距为样本均值。

　　如下图：