相比于正态分布，伯努利分布、二项分布与负二项分布均属于离散型概率分布。用来表征，随机变量取值的概率分布规律。
如果随机变量X的发生只有两个值：A和B，且在一次实验中A发生的概率p(0
利用数学表达式可这样表述：
概念
在n次伯努利实验中，事件X发生k次的概率分布。比如投掷10次硬币，出现5次正面向上情况的分布是怎么样的。
数学表达时这样表述：
之所以称之为二项分布，是因为概率分布函数的系数为二项式系数。当n趋于∞，p很小时，二项分布趋于泊松分布。
R语言中实现二项分布
在100次试验中，恰好出现50次的概率是多少？
 dbinom(x=50,size = 100,prob = 0.5)[1] 0.07958924
或者通过公式计算：100的阶乘除以50的阶乘，再除以50的阶乘，乘以0.5的50次方，再乘以0.5的50次方
(factorial(100)/factorial(50)/factorial(50))*(0.5^50)*(0.5^50)[1] 0.07958924
看一下二项分布曲线：在100次试验中，恰好出现50次事件A(p=0.5)试验次数分布图如下。试验的次数均值接近n*p，即100*0.5=50；二项分布的频率分布图很接近正态分布。
如果将实验次数提高到500，二项分布的频率分布图是不是更接近正态分布呢？
答案是肯定的！确实在提高实验次数之后，数据的频率分布就更趋向于正态分布了。这是中心极限定理的一个实例，当N足够大时，变量X的分布服从正态分布，这里有对极限定理做过讨论：关于数据正态性的讨论。
概念
与二项分分布相对应，在成功概率为P的伯努利过程中，第r次成功前，失败次数的概率分布是怎么样的呢？比如掷硬币10次，在出现了5次正面之前，反面出现的情况是如何分布的呢。
概率分布密度函数为：
又可以转化为这种形式
故而称之为负二项分布。在RNAseq分析中，用的最多。
R语言中实现负二项分布
在100次试验中，事件A发生的概率为0.5，那么在观察到100次事件A发生之前，失败次数是怎么分布的呢(即非事件A的分布)。
a01=rnbinom(n=100,size=100,0.5)hist(a01,probability = T,main="")
同样地，当n足够大时，事件的概率分布会更加趋近于正态分布。
	

事实上，棣莫弗早在1730年~1733年间便已从二项分布逼近的途径得到了正态密度函数的形式，到了1780年后，拉普拉斯也推出了中心极限定理的一般形式，但无论是棣莫弗，还是拉普拉斯，此时他们这些研究成果都还只是一个数学表达式而非概率分布，也就是压根就还没往误差概率分布的角度上去思索，而只有到了1809年，高斯提出“正太误差”的理论之后，它正太理论才得以“概率分布“的身份进入科学殿堂，从而引起人们的重视。
追本溯源，正态分布理论这条大河的源头归根结底是测量误差理论。那高斯到底在正态分布的确立做了哪些贡献呢？请看下文。
1801年1月，天文学家Giuseppe Piazzi发现了一颗从未见过的光度8等的星在移动，这颗现在被称作谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后在就在太阳的光芒下没了踪影，无法观测。而留下的观测数据有限，难以计算出他的轨道，天文学家也因此无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点。高斯当时已经是很有名望的年轻数学家了，这个问题也引起了他的兴趣。高斯一个小时之内就计算出了行星的轨道，并预言了它在夜空中出现的时间和位置。1801年12月31日夜，德国天文爱好者奥伯斯(Heinrich Olbers)在高斯预言的时间里，用望远镜对准了这片天空。果然不出所料，谷神星出现了！

高斯为此名声大震，但是高斯当时拒绝透露计算轨道的方法直到1809年高斯系统地完善了相关的数学理论后，才将他的方法公布于众，而其中使用的数据分析方法，就是以正态误差分布为基础的最小二乘法。那高斯是如何推导出误差分布为正态分布的呢？请看下文。
跟上面一样，还是设真值为，而为n次独立测量值，每次测量的误差为，假设误差ei的密度函数为f(e)，则测量值的联合概率为n个误差的联合概率，记为



到此为止，高斯的作法实际上与拉普拉斯相同，但在继续往下进行时，高斯提出了两个创新的想法。
第一个创新的想法便是：高斯并没有像前面的拉普拉斯那样采用贝叶斯的推理方式，而是直接取L(θ)达到最小值的作为的估计值，这也恰恰是他解决此问题采用的创新方法，即


现在我们把L(θ)称为样本的似然函数，而得到的估计值θˆ称为极大似然估计。高斯首次给出了极大似然的思想，这个思想后来被统计学家R.A.Fisher系统地发展成为参数估计中的极大似然估计理论。
高斯的第二点创新的想法是：他把整个问题的思考模式倒过来，既然千百年来大家都认为算术平均是一个好的估计，那么就直接先承认算术平均就是极大似然估计(换言之，极大似然估计导出的就应该是算术平均)，所以高斯猜测：


然后高斯再去寻找相应的误差密度函数f以迎合这一点。即寻找这样的概率分布函数f,使得极大似然估计正好是算术平均。通过应用数学技巧求解这个函数f,高斯证明了所有的概率密度函数中，唯一满足这个性质的就是（记为(11)式）：


而这恰巧是我们所熟知的正态分布的密度函数，就这样，误差的正态分布就被高斯给推导出来了！
但，高斯是如何证明的呢？也就是说，高斯是如何一下子就把上面(11)式所述的概率密度函数给找出来的呢？如下图所示（摘自数理统计学简史第127页注2，图中开头所说的高斯的第2原则就是上面所讲的高斯的第二点创新的想法，而下图最后所说的(11)式就是上面推导出来的概率密度函数）：



进一步，高斯基于这个误差分布函数对最小二乘法给出了一个很漂亮的解释。对于最小二乘公式中涉及的每个误差ei,有则结合高斯的第一个创新方法：极大似然估计及上述的概率密度，(e1,⋯,en)的联合概率分布为

要使得这个概率最大，必须使得取最小值，这正好就是最小二乘法的要求。
高斯的这项工作对后世的影响极大，它使正态分布同时有了”高斯分布“的名称，不止如此，后世甚至也把最小二乘法的发明权也归功于他，由于他的这一系列突出贡献，人们    采取了各种形式纪念他，如现今德国10马克的钞票上便印有这高斯头像及正态分布的密度曲线，借此表明在高斯的一切科学贡献中，尤以此”正太分布“的确立对人类文明的进程影响最大。



至此，咱们来总结下：
如你所见，相比于勒让德1805给出的最小二乘法描述，高斯基于误差正态分布的最小二乘理论显然更高一筹，高斯的工作中既提出了极大似然估计的思想，又解决了误差的概率密度分布的问题，由此我们可以对误差大小的影响进行统计度量了。
但事情就完了么？没有。高斯设定了准则“最大似然估计应该导出优良的算术平均”，并导出了误差服从正态分布，推导的形式上非常简洁优美。但是高斯给的准则在逻辑上并不足以让人完全信服，因为算术平均的优良性当时更多的是一个经验直觉，缺乏严格的理论支持。高斯的推导存在循环论证的味道：因为算术平均是优良的，推出误差必须服从正态分布；反过来，又基于正态分布推导出最小二乘和算术平均，来说明最小二乘法和算术平均的优良性，故其中无论正反论点都必须借助另一方论点作为其出发点，可是算术平均到并没有自行成立的理由。
也就是上面说到的高斯的第二点创新的想法“他把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计，那么就直接先承认算术平均就是极大似然估计(换言之，极大似然估计导出的就应该是算术平均)”存在着隐患，而这一隐患的消除又还得靠咱们的老朋友拉普拉斯解决了。
也就是上面说到的高斯的第二点创新的想法“他把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计，那么就直接先承认算术平均就是极大似然估计(换言之，极大似然估计导出的就应该是算术平均)”存在着隐患，而这一隐患的消除又还得靠咱们的老朋友拉普拉斯解决了。
至此，误差分布曲线的寻找尘埃落定，正态分布在误差分析中确立了自己的地位。在整个正态分布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献，拉普拉斯从中心极限定理的角度解释它，高斯把它应用在误差分析中，殊途同归。不过因为高斯在数学家中的名气实在是太大，正态分布的桂冠还是更多的被戴在了高斯的脑门上，目前数学界通行的用语是正态分布、高斯分布，两者并用。

logistic回归是机器学习中的经典分类方法，我们提到logistic回归一般多指二项logistic回归模型，由条件概率分布P(Y|X)表示，这里随机变量X取值为实数，随机变量Y取值为1或0.

logistic回归模型源自logistic分布，其分布函数是Sigmoid函数。logistic模型是由输入的线性函数表示的输出的对数几率模型。

如下图所示为Sigmoid函数表达式，也就是logistic分布的分布函数



图呢，长这样：



但是该函数输入值(也即自变量)并不是随机变量X的值，而是由随机变量X的值转化而来的，并且是线性转化而来，具体为：



对于二项logistic回归模型(也就是二分类)的条件概率分布如下：



推广到多项logistic回归模型(也就是多分类问题)为：



当然这里是仿照二分类的二项logistic回归直接推广到多分类的，不过我们发现，多项logistic回归对于最后一类(也就是K类)的计算实际是通过1减去K-1类的概率之和而求得的，这样使得第K类和其他类别有了一定的区别(按理说所有类别的计算应该是无差别的也就是使用同一个公式)，我们为了消除这种区别，对于多项logistic回归模型做了一定的修改，统一成以下的概率函数：



这就是我们常见的多分类softmax回归的概率函数。

     BERNOULLI DISTRIBUTION &BINOMIAL DISTRIBUTION(贝努利分布&二元分布)，个人觉得二元分布比二项分布来的更直观一些。
     贝努利分布：投一个硬币出现的结果x=head=1,tail=0的概率分布，表达式如下
   概率分布是一个关于u的函数；
     现在进行n次试验，观察到的结果（head or tail :0 or 1)由一个数据组组成D={X1，X2，.....Xn}，根据贝努利的经验，我们有n次试验的似然函数的形式（每一次都是一次独立的试验，n次贝努利试验结果的乘积形式）

那么n次试验中，什么时候的u取最大值呢，对似然函数两遍同事取对数，并令其对u的导数=0，我们得到最大u值
   
若是只考虑出现头head的次数，那么有
    m为出现头（head）的次数的总和

对于n次试验中，我们对于专门出现头的次数m，它也满足一个分布，于是二项分布由此处引出，

其中，
BETA  DISTRIBUTION(贝塔分布)
     不管是贝努利分布还是二项分布，都是基于观察head=1得出。那么当数据量过小，则容易出现过拟合（over-fitting），于是我们用贝叶斯的方法来解决这个问题，引入beta prior。

a,b为超参数，这两个家伙掌控u的分布。
在有了以上知识后，脑子里是否会浮现Posterior=Likelihood*Prior.将Beta（）*Bin（），有如下式子：
m代表出现头的次数，l代表出现tail的次数，n+m=N
正则化后，等式如下：

可以看到，后验概率于先验分布形式保持的非常好，前后一致。
贝叶斯理论的一个重要作用我们需要再这里发挥一下，就是预测下一步出现X=1的概率是多少，

对于无限大的数据组，m,l~~∞，P=m/N(最大似然的结果)，当数据无穷大时，预测的结果的和极大似然函数处理的结果一致。换句话就是，在数据量无穷大的情况下，贝叶斯和频率派的表现是一样的。
对于有限的数组，预测值在最大似然函数u值和先验均值u之间。

Multinomial Distribution(多元分布)
做一次试验，可能出现2种可能的为贝努利分布（one of two possible values）。
现做一次试验，可能出现多种结果的分布的为多元分布(one of k possible values)。假设我们掷一个骰子（6面），只有第4次出现了我们想要的最大值，表示为X=（0， 0， 0， 1， 0， 0 ）’，我们用u来代表出现x=1的概率分布，则有如下分布形式：

那么现在我们做n次试验，D=（X1，X2，...Xn），相应的似然函数如下：

同理，现在要求取最大的u值，两边取对数，并对u求导数，但是我们发现得出的结果为0，这一结果是不满足要求的，关键的时候，拉格朗日算子就隆重登场了，

经过计算，我们得到
，其中Mk为充分统计量。
考虑到做N次试验，其中m1，m2,...mk出现的联合概率且基于u分布表示为多元分布，表述如下：
，其中

对于多元分布的理解，N和k的关系需要细细琢磨



Dirichlet Distribution
多元分布的先验函数prior定义为Dirichlet ，表现形式如下：

同上述分析一样，我们得到后验形式：


正则化后

因为这个函数跟beta，gamma等一样，会比较难理解，详细解读请参见：http://en.wikipedia.org/wiki/Dirichlet_distribution

（以上内容整理于2013.1.20）

     开始概率密度估计之前，弄清楚2个概念:CDF&PDF.  离散变量构成的分布----CDF(Culmulative density function)，连续变量构成的分布----PDF(Probility density function)
     通过一组数据中一部分参数构成满足某种形式的函数来描述概率密度分布形式 叫做参数化的概率密度估计。当从数据中提取的参数组成的函数模型不足以表达函数的形式时或者不具备较好的预测性，比如，如果从某种数据中产生的多元变量模型，那么通过一个高斯函数时无法描述此模型，因为高斯模型是一个连续的单一模型，多以此时引入非参数方法来进行函数密度估计。这里的PRML的非参数模型选择频率派的方法，非nonparametric bayesian model。
     假设从一个D-dimentions 空间抽取一些未知概率密度函数P（x），我们运用Euclidean方法来估计p（x）。
     考虑一个含有观察变量X的一个很小的区域R。现假设有N个观察变量的PDF为p（x），那么其中K个变量落入R中，这个过程满足二项分布，要么落入R，要么在R外。
      对于比较大的N，大部分数据都集中在二项分布的均值处，E【K/N】=P,故落入R中K=NP.同时假设R足够的小，那么P（x）间接类似于一个常数在R中，于是有P=p(x)v (v表示空间R的体积)，于是乎我们得出概率密度函数p（x）=K/NV.这个等式有2个未知参数，K与V。固定V值 ---核函数估计（kennel density estimator(paren window)），固定K值--K邻近法（KNN （K nearest neighbour））。
      先看kennel density estimator，假设R是一个中心点为x的超球体，为方便计算落入区域中的K的个数，定义核函数K（u）={1，-0.5<=u<=0.5;0,otherwise}，换成一个通俗的表达式就是落入边长为h，中心点为Xn的球体的值K((X-Xn)/h)=1.那么落入区域内K 的总数的表达式K=sigma K((X-Xn)/h)=1  for n=1 to N.估计出来的的概率密度函数是公式中的样子：     


   
这里，V=h的D次方，见公式分母。(联想一下，面积是平方，体积是立方，超球体D维向量的V=h的D次方)
现在需要选择一个平滑的概率模型核函数，根据p（x）的样子，长的跟高斯类似，就是高斯了（也可以选择其它概率分布函数）。小变样子的核函数如下，
                                         
h代表高斯方差。
至此，我们的概率模型通过在所有的数据点中安放一个高斯函数并将所有的数据点相加再除以N （nomalized p（x））。
              
      上图中，h的值的选定决订概率密度核函数对曲线表示的好坏。过大过小都不好，呵呵。在这个估计中，没有训练过程（无计算），核函数选定后，再不断探索哪个更好。此方法的一大弱点是，但是当数据量增大的时候，核函数的计算量也需要相应的跟着增大。
 
未完待续...