精华内容
下载资源
问答
  • 极大似然估计详解

    万次阅读 多人点赞 2017-05-28 00:55:10
     以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下: 贝叶斯决策  首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:  其中:p(w):...

    极大似然估计

            以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:


    贝叶斯决策

            首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:


            其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,并且它属于某一类别的概率,有了这个后验概率,我们就可以对样本进行分类。后验概率越大,说明某事物属于这个类别的可能性越大,我们越有理由把它归到这个类别下。

            我们来看一个直观的例子:已知:在夏季,某公园男性穿凉鞋的概率为1/2,女性穿凉鞋的概率为2/3,并且该公园中男女比例通常为2:1,问题:若你在公园中随机遇到一个穿凉鞋的人,请问他的性别为男性或女性的概率分别为多少?

            从问题看,就是上面讲的,某事发生了,它属于某一类别的概率是多少?即后验概率。

            设:

            由已知可得:

            男性和女性穿凉鞋相互独立,所以

    (若只考虑分类问题,只需要比较后验概率的大小,的取值并不重要)。

            由贝叶斯公式算出:


    问题引出

            但是在实际问题中并不都是这样幸运的,我们能获得的数据可能只有有限数目的样本数据,而先验概率和类条件概率(各类的总体分布)都是未知的。根据仅有的样本数据进行分类时,一种可行的办法是我们需要先对先验概率和类条件概率进行估计,然后再套用贝叶斯分类器。

            先验概率的估计较简单,1、每个样本所属的自然状态都是已知的(有监督学习);2、依靠经验;3、用训练样本中各类出现的频率估计。

            类条件概率的估计(非常难),原因包括:概率密度函数包含了一个随机变量的全部信息;样本数据可能不多;特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是,把估计完全未知的概率密度转化为估计参数。这里就将概率密度估计问题转化为参数估计问题,极大似然估计就是一种参数估计方法。当然了,概率密度函数的选取很重要,模型正确,在样本区域无穷时,我们会得到较准确的估计值,如果模型都错了,那估计半天的参数,肯定也没啥意义了。


    重要前提

            上面说到,参数估计问题只是实际问题求解过程中的一种简化方法(由于直接估计类条件概率密度函数很困难)。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。

            重要前提:训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件),且有充分的训练样本


    极大似然估计

            极大似然估计的原理,用一张图片来说明,如下图所示:


            总结起来,最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。

            原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

            由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:


            似然函数(linkehood function):联合概率密度函数称为相对于的θ的似然函数。


            如果是参数空间中能使似然函数最大的θ值,则应该是“最可能”的参数值,那么就是θ的极大似然估计量。它是样本集的函数,记作:



    求解极大似然函数

            ML估计:求使得出现该组样本的概率最大的θ值。


             实际中为了便于分析,定义了对数似然函数:


            1. 未知参数只有一个(θ为标量)

            在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:


            2.未知参数有多个(θ为向量)

            则θ可表示为具有S个分量的未知向量:


             记梯度算子:


             若似然函数满足连续可导的条件,则最大似然估计量就是如下方程的解。


             方程的解只是一个估计值,只有在样本数趋于无限多的时候,它才会接近于真实值。


    极大似然估计的例子

            例1:设样本服从正态分布,则似然函数为:


            它的对数:


            求导,得方程组:


            联合解得:


            似然方程有唯一解:,而且它一定是最大值点,这是因为当时,非负函数。于是U的极大似然估计为


            例2:设样本服从均匀分布[a, b]。则X的概率密度函数:


            对样本


            很显然,L(a,b)作为a和b的二元函数是不连续的,这时不能用导数来求解。而必须从极大似然估计的定义出发,求L(a,b)的最大值,为使L(a,b)达到最大,b-a应该尽可能地小,但b又不能小于,否则,L(a,b)=0。类似地a不能大过,因此,a和b的极大似然估计:



    总结

            求最大似然估计量的一般步骤:

            (1)写出似然函数;

            (2)对似然函数取对数,并整理;

            (3)求导数;

            (4)解似然方程。

            最大似然估计的特点:

            1.比其他估计方法更加简单;

            2.收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;

            3.如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。


    正态分布ML估计的Matlab实例:点击打开链接

    展开全文
  • 极值分布极大似然估计及计算机实现 - read维普资讯第3()卷 第 6期 河北师范大学学报 (自然科学版) V(l3()N0.621)1)6年 11月 JournalofHel,elNormalUniversity(Natural~%ienceEdition) NOV.2006极值分布极大...

    极值分布的极大似然估计及计算机实现 - read

    维普资讯

    第3()卷 第 6期 河北师范大学学报 (自然科学版) V(l3()N0.6

    21)1)6年 11月 JournalofHel,elNormalUniversity(Natural~%ienceEdition) NOV.2006

    极值分布的极大似然估计及计算机实现

    尚英姿 ,一, 安润秋

    (1.西安交通大学 管理学院,陕西 西安 710049;2.河北经贸大学 数学与统计学学院.河北 石家庄 050011;

    3.唐山学院基础部,河北 唐 l【1 063000)

    摘 要 :极值分布在计量经济学 、金融工程、计算生物学 、工程测量中都有用途 ,一般常用最小二乘法估计

    其参数,但最小二乘法的误差较高.极大似然估计具有比最4'-乘法更好的性质,但 由于它的计算往往 比较麻

    烦 .通过极大似然法估计 了极值分布的参数 ,同时给 出了求参数 的数值解 的算法 ,并通过 Matlab程序实现 了

    这一算法 .

    关键词 :极值分布 ;极大似然估计 ;算法

    中图分类号:02121 文献标识码 :A 文章编号 2006)060643.04

    把原始样本分为容量相同的 组 ,每组的容量为 N,选 出每一组 的最大或最小 的样本值 ,这些最大

    值或最小值组成了最大值或最小值的母体样本 ,进而可得到极值分布的渐近分布形式.因为渐近分布的

    形式在很大程度上与原始分布的精确形式无关,仅仅依赖于在极值方向上原始分布的密度函数的尾部

    情况,而渐近分布的参数则取决于原始分布.极值分布在计量经济学、金融工程、计算生物学 、工程测量

    中都有用途 1一引,一般常用最小二乘法估计其参数,但最小二乘法的误差较高.本文中,笔者试图通过

    极大似然法估计其参数,同时给出了求参数的数值解的算

    法,并通过Matlab程序实现了这一算法 .

    极值分布的密度函数及分布函数如下:

    户(z)= exp[一 (z— )一e-a(x-)], (1)

    P(x

    其中 oo0,一oo<

    =1.0时,极值分布的密度函数及分布函数如图1所示,其

    中参数 决定了分布密度函数的位置, 决定了函数的峰

    值.

    1 极值分布参数估计 的极大似然法

    图 1 极值分布的密度函数及分布函数

    由概率知识可知,样本密度函数为

    P(x10,0z)=1-[2exp[一 (zf

    l

    当样本点(z。…z)给定时,它是参数 , 的函数,称为极值分布的极大似然函数 引,用 L来表示,

    L( ,)=a"exp[∑一 (一)一∑e|“’], (4)

    其对数似然函数为

    logL(,~,)=nlog,1一∑ (zf一 )一∑e ’. (5)

    对式(5)求关于 , 的偏导数,得

    收稿 日期 :2005 03 10;修 回 日期 :2006—02—12

    基金项目:国家 自然科学基金资助项目

    作者简介 :尚英姿(1963一),女,河北省冀州市人,河北经贸大学副教授 .西安交通大学博:l:研究生,从事经济政策评价研究

    维普资讯

    644 河北师范大学学报(自然科学版) 第 30卷

    … ^一A e r, , (6)

    展开全文
  • 为了在统计过程中发现更多有趣的结果,我们将解决极大似然估计没有简单分析表达式的情况。举例来说,如果我们混合了各种分布

    原文链接:http://tecdat.cn/?p=18794

    原文出处:拓端数据部落公众号

    为了在统计过程中发现更多有趣的结果,我们将解决极大似然估计没有简单分析表达式的情况。举例来说,如果我们混合了各种分布,

    作为说明,我们可以使用样例数据

    
    > X=height

    第一步是编写混合分布的对数似然函数

    > logL=function(theta){
    + p=theta[1]
    + m1=theta[2]
    + s1=theta[3]
    + m2=theta[4]
    + s2=theta[5]
    + logL=-sum(log(p*dnorm(X,m1,s1)+(1-p)*dnorm(X,m2,s2)))
    + return(logL)
    + }

    极大似然性的最简单函数如下(从一组初始参数开始,只是为了获得梯度下降的起点)

    > optim(c(.5,160,1,180,1 ,logL  >  theta=opt$par)
    [1] 0.5987635 165.2547700 5.9410993 178.4856961 6.3547038

    因为我们可以通过使用约束优化算法来做到“更好”,例如,概率一定在0到1之间。

    为了可视化估计的密度,我们使用

    > hist(X,col="light green probability=TRUE)
    > lines(density(X )
    

    另一个解决方案是使用EM算法。我们将从参数的初始值开始,并比较属于每个类的机会

    
    > p=p1/(p1+p2)

    从属于每个类别的这些概率中,我们将估算两个正态分布的参数。使用极大似然

    > m1=sum(p*X)/sum(p)
    
    + logL=-sum(log(p*dnorm(X,m1,s1)+(1-p)*dnorm(X,m2,s2)))
    + return(logL)
    

    这个想法实际上是有一个循环的:我们估计属于这些类的概率(考虑到正态分布的参数),一旦有了这些概率,就可以重新估计参数。然后我们再次开始

    
    > for(s in 1:100){
    
    + p=p1/(p1+p2)
    
    + s1=sqrt(sum(p*(X-m1)^2)/sum(p))
    + s2=sqrt(sum((1-p)*(X-m2)^2)/sum(1-p))
    
    + }

    然后,我们恢复混合分布的“最佳”参数

    > hist(X,col="light green",probability=TRUE)
    > lines(density(X))
    

    这相对接近我们的估计。


    最受欢迎的见解

    1.R语言泊松Poisson回归模型分析案例

    2.R语言进行数值模拟:模拟泊松回归模型

    3.r语言泊松回归分析

    4.R语言对布丰投针(蒲丰投针)实验进行模拟和动态可视化

    5.用R语言模拟混合制排队随机服务排队系统

    6.GARCH(1,1),MA以及历史模拟法的VaR比较

    7.R语言做复杂金融产品的几何布朗运动的模拟

    8.R语言进行数值模拟:模拟泊松回归模型

    9.R语言对巨灾风险下的再保险合同定价研究案例:广义线性模型和帕累托分布Pareto distributions

    展开全文
  • 哈工大研究生课程讲义高斯分布参数的极大似然估计,EM算法
  • 项分布的最大似然估计

    千次阅读 2012-04-30 18:38:12
    (一)二项分布的最大似然估计  二项分布中,有两个结果:事件要么发生,要么不发生。二项分布中,随机变量X取值1表示事件发生,而取值0表示事件不发生。令p表示事件发生的概率,则(1-p)为事件不发生的概率。如...


        在看《机器学习导论》时,碰到多项分布的最大似然估计,一开始一直求不到书中给出的结果,经过一番周折才求出来,现拿出来分享。


    (一)二项分布的最大似然估计

           二项分布中,有两个结果:事件要么发生,要么不发生。二项分布中,随机变量X取值1表示事件发生,而取值0表示事件不发生。令p表示事件发生的概率,则(1-p)为事件不发生的概率。如公式(1)所示:

       

           给定大小为N的独立同分布的样本,二项分布的对数似然函数如公式(2)所示:


        为了求取该函数的最大值,只需要通过求即可,如下: 

     

          由此可得到参数p的最大似然估计为:



    (二)多项分布的最大似然估计

           多项分布式在二项式分布的推广。多项分布是指事件有多个状态(K个状态),并且状态之间互斥,设每种状态出现的概率为Pi,并且有。同二项分布,多项分布对应的概率密度函数为:


        

    给定大小为N的独立同分布的样本多项分布的对数似然函数如公式(3)所示:



    并且满足条件。求公式(3)中函数的最大值,即为求给定约束条件函数的最大值,因此可用拉格朗日乘数法。如公式(4)所示。



    对公式(4)分别对p1,p2,pk求偏导数有:



    通过求解方程组(5),可得到参数p的最大似然估计为:



    完毕。







    展开全文
  • 样本数据的类条件概率密度符合正态分布,对训练样本进行极大似然估计得到参数,再对测试样本进行分类。
  • 极大似然估计

    2019-03-11 16:18:51
    极大似然估计 ... 本篇博客主要讲解以下内容: ...2极大似然估计(MLE) 3.log似然函数 4.损失函数 5.求极大似然估计的一般步骤 三、常见分布的参数估计 1.高斯分布 2.Bernoulli分布 3.二项分布(Bi...
  • 学过《概率论》的同学都知道,极大似然估计一般用于区间估计的。而matlab已经将其封装好由我们自己调用。例子:下面是某厂的瓶装运动饮料体积,求均值、标准差的极大似然估计值及置信水平为0.90的置信区间
  • #极大似然估计 伯努利分布 高斯分布 正态分布 概率分布的参数能以最高的概率产生这些样本。 如果观察到的数据是 D1,D2,D3,...,DND_1, D_2, D_3, ... , D_ND1​,D2​,D3​,...,DN​, 那么极大似然的目标如下: maxP...
  • 混合正态分布参数极大似然估计的EM算法.pdf
  • 正态分布均值的极大似然估计

    万次阅读 多人点赞 2019-04-04 16:09:53
    正态分布均值的极大似然估计
  • 基于Matlab_Simulink的Weibull分布极大似然估计.pdf
  • 多元正态分布极大似然估计

    万次阅读 多人点赞 2018-06-20 13:53:12
    多元正态分布极大似然估计 1. 一元正态分布的密度函数 一元正态分布的密度函数表示为: f(x)=1(2π)−−−−√σe−(x−μ)22σ2f(x)=1(2π)σe−(x−μ)22σ2f(x) = \frac{1}{\sqrt {(2 \pi)} \sigma} e^{...
  • 图解极大似然估计

    2019-11-27 22:42:50
    极大似然估计**是神经网络和很多复杂模型得以优化求解的理论基础, 我们今天来学习并试着深入理解极大似然估计的原理和推导, 最后我们对极大似然估计进行3D可视化, 建立一种直观的认识. 要理解极大似然估计是什么, ...
  • 极大似然估计详解,写的太好了!

    万次阅读 多人点赞 2018-08-18 15:42:08
    极大似然估计  以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:   贝叶斯决策  首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:...
  • 用R语言做t分布极大似然估计

    千次阅读 2020-03-07 10:29:54
    用R语言做t分布极大似然估计 先写出t分布的最大似然函数,再用optim函数求出相应的极大值(或者极小值)即可
  • 伯努利分布的最大似然估计

    千次阅读 2019-04-11 16:39:10
    昨天晚上参加阿里巴巴的实习面试,各种被虐。 伯努利分布的最大似然估计
  • 通过样例来讲解最大似然估计和极大似然估计以及他们的区别
  • 答:已知某个随机样本(x1,x2,...,xn)(x_{1},x_{2},...,x_{n})(x1​,x2​,...,xn​)符合某种概率分布,但是其中某个具体参数θ\thetaθ不知道这时可以用极大似然估计得到θ^\widehat {\theta}...
  • 威布尔分布参数估计的极大似然方法是一种常用的方法,在故障数不小于10的情况下推荐使用。但在工程中,由于产品的可靠性高,或者是...工程上,可以依据文中提供的结论定量分析威布尔分布形状参数极大似然估计量的精度。
  • 极大似然估计 在参数模型的背景下,标准技术是考虑似然的最大值(或对数似然)。考虑到一些技术性假设,如 ,的某个邻域,那么 其中表示费雪信息矩阵。在此考虑一些样本,来自广义帕累托分布,参数为 ,因此 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 19,153
精华内容 7,661
关键字:

二项分布极大似然估计