精华内容
下载资源
问答
  • 项分布最大似然估计

    千次阅读 2012-04-30 18:38:12
    (一)二项分布最大似然估计  二项分布中,有两个结果:事件要么发生,要么不发生。二项分布中,随机变量X取值1表示事件发生,而取值0表示事件不发生。令p表示事件发生的概率,则(1-p)为事件不发生的概率。如...


        在看《机器学习导论》时,碰到多项分布的最大似然估计,一开始一直求不到书中给出的结果,经过一番周折才求出来,现拿出来分享。


    (一)二项分布的最大似然估计

           二项分布中,有两个结果:事件要么发生,要么不发生。二项分布中,随机变量X取值1表示事件发生,而取值0表示事件不发生。令p表示事件发生的概率,则(1-p)为事件不发生的概率。如公式(1)所示:

       

           给定大小为N的独立同分布的样本,二项分布的对数似然函数如公式(2)所示:


        为了求取该函数的最大值,只需要通过求即可,如下: 

     

          由此可得到参数p的最大似然估计为:



    (二)多项分布的最大似然估计

           多项分布式在二项式分布的推广。多项分布是指事件有多个状态(K个状态),并且状态之间互斥,设每种状态出现的概率为Pi,并且有。同二项分布,多项分布对应的概率密度函数为:


        

    给定大小为N的独立同分布的样本多项分布的对数似然函数如公式(3)所示:



    并且满足条件。求公式(3)中函数的最大值,即为求给定约束条件函数的最大值,因此可用拉格朗日乘数法。如公式(4)所示。



    对公式(4)分别对p1,p2,pk求偏导数有:



    通过求解方程组(5),可得到参数p的最大似然估计为:



    完毕。







    展开全文
  • 1.二项式分布与似然估计公式二项分布基本公式求发生某件事情的概率: 如在人们对两种口味饮料无偏好时,即人们喜欢香橙口味的概率p=0.5,喜欢葡萄口味的概率p=0.5,那么7个人中4个人喜欢香橙口味的概率为0.273。...

    原标题:最大似然法估计二项式分布参数

    前面我们学习了解了最大似然法求解正态分布参数,求解指数分布参数。今天我们再来看看最大似然法如何求解二项式分布参数。

    1.二项式分布与似然值估计公式

    二项分布基本公式求发生某件事情的概率:

    50abdefa9244e281b26f13ff3a3a8ab9.png

    如在人们对两种口味饮料无偏好时,即人们喜欢香橙口味的概率p=0.5,喜欢葡萄口味的概率p=0.5,那么7个人中4个人喜欢香橙口味的概率为0.273。计算公式如下:

    05e8e710225ee5a2f33cce0e8f7fbce0.png

    似然值公式求某件事发生的环境概率:

    如7个人中有4个人喜欢香橙口味饮料,在人们对两种口味饮料无偏好时,也就是喜欢两种口味饮料的概率p=0.5,那么p=0.5对应的似然值为0.273。计算公式如下:

    001abe58bd786e43a188b1a0c5c0b442.png

    二项式分布公式与似然值公式的异同:

    相同点:等式左边的写法是一样的;

    不同点:

    等式右边,“|”右侧的固定条件不同,也就是已知条件不同。在二项式分布公式中,固定条件为人们喜欢香橙口味的概率p=0.5,其他询问的人数。在似然值公式中,固定的条件是7个人中4个人喜欢香橙口味。“|”左边的变量不同,在二项式公式中,变量是询问人数中共有几人喜欢香橙口味;在似然值公式中,变量是人们喜欢香橙口味饮料的概率。

    通过对比,能知道似然值与分布公式的重要意义: 似然值公式是通过已发生的事件,推导产生该事件环境的可能性;而 分布公式是已知环境,推导该环境下发生某件事的概率。

    2.最大似然法求解二项式分布参数

    「二项式分布的似然值:」用似然法估计二项式分布的参数,即我们需要计算不同p值时对应的似然值。

    如下方程的含义为: 在随机7个人中4个人喜欢香橙口味的固定情况下,计算 p=0.5时的似然值为0.273;

    05b4ec210bcdb03f0a7e175fa7db2389.png

    在随机7个人中4个人喜欢香橙口味的固定情况下,计算 p=0.25时的似然值为0.058;

    8673ab8a47da1d695e58fa029b695488.png

    在随机7个人中4个人喜欢香橙口味的固定情况下,计算 p=0.57时的似然值为0.294。

    6cf1be03a0f973c1db9b30752f4c5c76.png

    p值的取值范围是[0,1],将以上二项式分布中的p在[0,1]范围内的似然值绘制成曲线,当曲线达到峰值(斜率为0)时对应的似然值最大。

    9274cc615d58e370e477c174681b680c.png

    「因为在似然值曲线的峰值时,该p值对应的似然值最大,故可将其转化成数学问题,求解二项式分布的导数为0时,p的取值。」

    为方便求导,将似然值求解公式两边同时取对数处理并简化方程:

    9ce8958961df002acdeb38b7aacc9140.png

    函数求导并简化方程:

    52cabd3e784c270e1ce0b8371720325c.png

    令导数=0,求解p:

    8a893acfc632b99311cd24ffbc9f6ec5.png

    228dd362f22387d38ae433471a1495be.png

    当p=4/7=0.57时,取得最大似然值。故得出结论,当人们喜欢香橙口味饮料的概率为0.57时,发生4个人喜欢香橙口味,3个人喜欢葡萄口味的概率最大。

    任意情况下,最大似然值估计二项式分布参数

    问题:已知任意n个人中,任意x人喜欢香橙口味时,探究该二项式分布中最有可能的p值。

    求解方法同前,依次对函数进行对数处理、求导、求解p。最终,得出当p=x/n时,n人中x人更喜欢香橙口味的似然值最大。

    为方便求导,将似然值求解公式两边同时取对数处理并简化方程:

    459c6e630cbe064a43bdc92342ce77a4.png

    658aea87af7a61923f2afa33574a2f89.png

    因不论n与x的取值,当斜率=0(导数=0)时,该处对应的似然值最大。

    46454837e662c93bff8bf8cad0e73e7d.png

    令导数=0,求解p:

    85d18a617949549083928003fb455669.png

    得出结论:得出当p=x/n时,n人中x人更喜欢香橙口味的似然值最大,即 n人中x人更喜欢香橙口味发生的概率最大。

    小结

    通过前面几期的深入学习,使得我们能够更加清楚的了解最大似然值估计法的基本原理,让最大似然法不再陌生。继续加油~~~

    责任编辑:

    展开全文
  • 1.二项式分布与似然估计公式二项分布基本公式求发生某件事情的概率:如在人们对两种口味饮料无偏好时,即人们喜欢香橙口味的概率p=0.5,喜欢葡萄口味的概率p=0.5,那么7个人中4个人喜欢香橙口味的概率为0.273。...

    前面我们学习了解了最大似然法求解正态分布参数,求解指数分布参数。今天我们再来看看最大似然法如何求解二项式分布参数。

    1.二项式分布与似然值估计公式

    二项分布基本公式求发生某件事情的概率:

    c063c34f1ed2

    如在人们对两种口味饮料无偏好时,即人们喜欢香橙口味的概率p=0.5,喜欢葡萄口味的概率p=0.5,那么7个人中4个人喜欢香橙口味的概率为0.273。计算公式如下:

    c063c34f1ed2

    似然值公式求某件事发生的环境概率:

    如7个人中有4个人喜欢香橙口味饮料,在人们对两种口味饮料无偏好时,也就是喜欢两种口味饮料的概率p=0.5,那么p=0.5对应的似然值为0.273。计算公式如下:

    c063c34f1ed2

    二项式分布公式与似然值公式的异同:

    相同点:等式左边的写法是一样的;

    不同点:

    等式右边,“|”右侧的固定条件不同,也就是已知条件不同。在二项式分布公式中,固定条件为人们喜欢香橙口味的概率p=0.5,其他询问的人数。在似然值公式中,固定的条件是7个人中4个人喜欢香橙口味。“|”左边的变量不同,在二项式公式中,变量是询问人数中共有几人喜欢香橙口味;在似然值公式中,变量是人们喜欢香橙口味饮料的概率。

    通过对比,能知道似然值与分布公式的重要意义:似然值公式是通过已发生的事件,推导产生该事件环境的可能性;而分布公式是已知环境,推导该环境下发生某件****事的概率。

    2.最大似然法求解二项式分布参数

    「二项式分布的似然值:」 用似然法估计二项式分布的参数,即我们需要计算不同p值时对应的似然值。

    如下方程的含义为:在随机7个人中4个人喜欢香橙口味的固定情况下,计算p=0.5时的似然值为0.273;

    c063c34f1ed2

    在随机7个人中4个人喜欢香橙口味的固定情况下,计算p=0.25时的似然值为0.058;

    c063c34f1ed2

    在随机7个人中4个人喜欢香橙口味的固定情况下,计算p=0.57时的似然值为0.294。

    c063c34f1ed2

    p值的取值范围是[0,1],将以上二项式分布中的p在[0,1]范围内的似然值绘制成曲线,当曲线达到峰值(斜率为0)时对应的似然值最大。

    c063c34f1ed2

    「因为在似然值曲线的峰值时,该p值对应的似然值最大,故可将其转化成数学问题,求解二项式分布的导数为0时,p的取值。」

    为方便求导,将似然值求解公式两边同时取对数处理并简化方程:

    c063c34f1ed2

    函数求导并简化方程:

    c063c34f1ed2

    令导数=0,求解p:

    c063c34f1ed2

    c063c34f1ed2

    当p=4/7=0.57时,取得最大似然值。故得出结论,当人们喜欢香橙口味饮料的概率为0.57时,发生4个人喜欢香橙口味,3个人喜欢葡萄口味的概率最大。

    任意情况下,最大似然值估计二项式分布参数

    问题:已知任意n个人中,任意x人喜欢香橙口味时,探究该二项式分布中最有可能的p值。

    求解方法同前,依次对函数进行对数处理、求导、求解p。最终,得出当p=x/n时,n人中x人更喜欢香橙口味的似然值最大。

    为方便求导,将似然值求解公式两边同时取对数处理并简化方程:

    c063c34f1ed2

    c063c34f1ed2

    因不论n与x的取值,当斜率=0(导数=0)时,该处对应的似然值最大。

    c063c34f1ed2

    令导数=0,求解p:

    c063c34f1ed2

    得出结论:得出当p=x/n时,n人中x人更喜欢香橙口味的似然值最大,即n人中x人更喜欢香橙口味发生的概率最大。

    小结

    通过前面几期的深入学习,使得我们能够更加清楚的了解最大似然值估计法的基本原理,让最大似然法不再陌生。继续加油~~~

    展开全文
  • 假设分布为伯努利分布,也就是二项分布,出现正面的概率是p,则下次出现上述实验结果现象的概率是:L=P(1-p),如何才能让下次出现相同结过的概率最大?自然是L越大越好,则p=0.5,所以极大似然估计的核心思想是求参数...

    以下所有例子都是抛硬币问题,在五次试验中出现正, 正,正, 正,反两次结果,求该硬币出现正面的概率p,

    最大似然估计:

          假设分布为伯努利分布,也就是二项分布,出现正面的概率是p,则下次出现上述的实验结果现象的概率是:L=PPPP(1-P),如何才能让下次出现相同结过的概率最大?自然是L越大越好,计算得到p=0.8,所以极大似然估计的核心思想是:求参数为何值时才能使样本出现上述现象的概率最大。

    最大后验概率估计:

    我们知道,一般硬币不是假的话基本都是0.5的概率,所以出现正面p=0.5的概率非常高,这就是所谓的先验知识。所以有人就觉得,你做五次实验难道就能说明这个硬币是0.8的正面概率?我不信,我觉得凭我的认知(先验证知识)也有可能是巧合,其实还是等于0.5,只不过这五次抛桥出现正正正正反这个现象,我觉得应该这样计算:p属于一个高斯分布f(p), 那么出现上述现象的是:pf(p)下面继续分析,为了好理解,都用离散的来表示,假如p只能等于0.5,或者0.4,等于0.5的概率为0.9,等于0.4的概率为0.1(也就是说假钱的概率为0.1),那么再抛出正正正正反的概率是多少?肯定是L=pppp(1-p)*f(p),其中g(p)代表p出现的概率,经过计算可以知道是p=0.5时L最大。所以最大后验概率的核心思想是:参数我已经知道大致的概率分布了,现在我想求参数为何值的时候出现上述现象的概率最大。

    贝叶斯估计:

    贝叶斯是对最大后验概率的补充,已知上一步的L(0.5)=0.225,L(0.4)=0.024,则L等于0.5的概率为0.225/(0.225+0.024=0.90361,出现0.4的概率为0.009638,可以发现根据样本得到的后验概率与之前先验概率是有区别的,也就是说,我们利用实验结果和经验来推不确定的事,所以贝叶斯估计的参数是个随机变量,如果非要给出一个值得话就是这个值得期望,在这里就是0.90361*0.5+0.009638*0.4。所以贝叶斯估计的核心思想是:你最大后验概率只取一个最大值对吧?,我不,我要取期望值作为参数最终结果,比如你上面最大后验概率只能取0.5或者0.4,但是我要去0.5*p(0.5)+0.4*p(0.4)=0.455(虽然这里是离散的不存在,但是对于连续的就是处在的)

    总结

    最大似然估计:求出现此现象时参数为多少可能性最大,求得参数就是结果

    最大后验估计:我大致知道参数分布概率,求参数为何值时候出现此现象概率最大,那么此参数就是结果

    贝叶斯估计:我大致知道参数分布概率,我也知道每一个参数下出现此现象概率(最大后验估计直接选里里面最大的值最为结果),我求了一下参数期望作为结果

    其实了解这三个之间的关系,很容易就能看出来最大似然估计是假设所有参数都是均匀分布,可是事实上这种情况很少见,所以实际上我们可以假设是高斯分布,然后用最大后验估计做一下实验,基本可以水一篇论文,然后再用贝叶斯分布又可以水一篇论文,懂得都懂,这里也不多说了,哈哈哈

    参考:https://www.cnblogs.com/hapjin/p/6656642.html

    展开全文
  • 转载自:http://www.cnblogs.com/sylvanas2012/p/5058065.html 1) 最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取...或者是二项分布,但是不知道均值。 最大似然估计(MLE,Maximum Li
  • 例如: X~B(n,p)表示X服从参数为(n,p)的二项分布,观测变量x∈[0,n] x取k的概率,即在n次伯努利试验中,概率已知p=0.6, 假设n=10, k∈[0,n],正例出现k次的概率为: 遍历k的取值,计算全部p(x)值,可以画出p(x)条形...
  • 转自:http://www.cnblogs.com/sylvanas2012/p/5058065.html 1) 最大似然估计 MLE ...给定一堆数据,假如我们知道它是从某一种分布中随机取出来的...或者是二项分布,但是不知道均值。 最大似然估计(MLE,Maxim
  • 转载自 http://www.cnblogs.com/sylvanas2012/p/5058065.html 1) 最大似然估计 MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取...或者是二项分布,但是不知道均值。 最大似然估计(MLE,Maximum Likeli...
  • 学贝叶斯方法时绕不过去的一个问题,现在系统地总结一下。 之前过于纠结字眼,似然和概率...这里我们讨论的范围已经界定了,那就是在指定模型下(比如二项分布),我们观测数据和可能的模型参数之间的关系。 (...
  • Maximum Likelihood Estimation(MLE) 极大似然估计,又被称作最大似然估计。其可在给定概率分布模型的条件下用于模型参数的估计,即所谓的参数估计abstract.jpeg基本原理在此之前,我们先来了解下P(x;θ),其中x就是...
  • 最大似然估计 MLE ...或者对于逻辑回归,我们假定样本是服从二项分布,但是不知道均值,逻辑回归公式得到的是因变量y的概率P = g(x), x为自变量,通过逻辑函数得到一个概率值,y对应离散值为0或者
  • 2. 如何用最大似然估计估计似然函数的参数值? 1. 什么是似然函数? 本质是关于随机数X的概率密度函数,只不过没有给定参数. 概率密度函数反映的是给定XXX值 的事件发生概率 (即使是连续值也可以用离散的理解方式来理解...
  • 极大似然估计

    2019-07-06 23:48:01
    当我们描述世界上的很多事物时,常常喜欢用某个已知的分布模型来近似刻画它,比如二项分布和高斯分布(正态分布)等。但是,当我们选定某个模型后,就产生了模型中参数如何确定的问题,为此就引入了极大似然估计。...
  • 极大似然法python例子

    2021-02-01 20:23:45
    已知一组数符合二项分布,其中????为9,请采用最大似然估计方法估计该分布的另一个参数???? 。 最大似然估计方法的思路是: 要估计ppp,我们可以先写出在所有样本已知条件下的似然函数,P(x1,x2,⋯ ,xm∣p)=∏i...
  • 机器学习-概率分布(PRML 第章总结)

    千次阅读 2017-02-16 19:00:42
    2二项分布 3多项式分布 连续变量 1 beta分布 2 狄利克雷分布 3 高斯分布 极大似然估计 最大后验估计 贝叶斯估计 1.离散变量1.1伯努利分布伯努利分布,进行一次伯努利实验,如投掷一次硬币,x=1x=1代表正面,其概率为...
  • 标签: 机器学习概率分布这章主要介绍...密度估计⎧⎩⎨⎪⎪⎪⎪参数方法⎧⎩⎨⎪⎪给出分布形式,通过最大似然、最大后验等调整参数大小(多为指数族分布) 离散变量:二项式、多项式分布 连续变量:Gauss分布非参
  • EM算法--ML之六

    2017-10-29 17:58:32
    二项分布最大似然估计硬币投掷实验是解释二项分布的最好解说,投币实验过程中,进行N次独立实验,n次朝上,N-n次朝下,假定朝上的概率为p,那么p = n/NGMM算法高斯混合模型是EM算法非常典型的应用,高斯
  • 这是你应该掌握的8个数据科学的核心技能:基本工具:无论你面试什么类型的公司,他们都会期望你知道如何利用一些基本的工具,包括统计编程语言,如R或Python,...你应该很熟悉统计检验,分布最大似然估计等。回...
  • 1 相关概念 1.1 极大似然估计法 ...二项分布P(x)仅由由一个参数p决定,极大似然估计就要估计p 正态分布: 正态分布由均值μ\muμ和方差σ2σ^2σ2决定,极大似然估计就要估计μ\muμ和σ2σ^2σ...
  • 机器学习之logist回归

    2019-10-05 12:16:08
    必要的数学概念 1、离散型随机变量及...1.2:二项分布(n重伯努利分布):分布函数:,期望 E=np,方差:D = np(1-p) 1.3:泊松分布 :分布函数,期望E=λ,方差D=λ 2、最大似然估计(Likelihood):通过参...
  • 事先已经知道了此样本属于何种分布(如正态/高斯分布、二项分布等),从而了解此样本的概率分布函数,但其中的具体参数还不知悉。 求出使给出样本的联合概率最大的参数。 逻辑回归(二分类) 概率分布 P(Y=1∣x)=11+...
  • 参数模型就是知道总体(随机变量)的分布,但是不知道这个分布的参数,比如知道x服从参数为p二项分布,因此我们得到x的样本后,要反推回p到底是什么。求解参数模型的常用方法比如最大似然估计(MLE),最大后验...
  • 关于贝叶斯学派和频率学派的一点认识贝叶斯决策和机器学习极大似然估计(ML)最大后验估计(MAP)贝叶斯估计gamma函数二项分布Beta分布多项式分布Dirichlet分布共轭先验分布Beta-Binomial共轭Dirichlet-Multinomial...

空空如也

空空如也

1 2
收藏数 37
精华内容 14
关键字:

二项分布p最大似然估计