精华内容
下载资源
问答
  • 极大似然估计法的理解

    千次阅读 2018-10-04 15:31:47
    极大似然估计法 1 前言 这几天在研究机器学习的过程中,经常见到极大似然估计法,这个方法似乎运用十分广泛,因此在网上找了一些资源,特此整合,以便自己经常翻阅。 2 原理和方法 网上给出了两个经典例子: 1一位老...

    极大似然估计法

    1 前言

    这几天在研究机器学习的过程中,经常见到极大似然估计法,这个方法似乎运用十分广泛,因此在网上找了一些资源,特此整合,以便自己经常翻阅。

    2 原理和方法

    网上给出了两个经典例子:
    1一位老猎人和一个学徒出去打猎,猎捕到了一只野兔,那么是谁打死的。
    2两个箱子,一个箱子有90个白球,10个黑球,另一个箱子有90个黑球,10个白球,抽出一个白球,那么是从哪个箱子抽出来的。
    针对以上两个问题,按照经验我们都会觉得对于第一个问题的答案很有可能是老猎人打死的,因为老猎人比学徒要更厉害,第二个问题的答案是从有90个白球的箱子抽出来的,因为白球更多,更容易抽出。
    针对于这两个问题,从数学的方法来解读就是概率最大的事件最容易发生,一次实验出现的应该有最大的概率,也就是极大似然估计法的依据(这是参数估计的另一种方法,至于什么是参数估计我还没看,大家可以自行研究)。
    极大似然估计法的数学表示就是在一次抽样中,如果得到样本值X1,X2,X3…Xn,那么对于样本的总体参数θ来说,它的估计值应该使得样本值X1,X2…Xn出现的概率最大。
    针对于上述题目,有一个题目可帮大家理解.
    现有一个黑箱子,里面有白球和黑球,一共一百个,现在有放回的抽取十个球,发现抽到了4个白球,6个黑球,那么估计白球黑球分别有多少个?
    针对上述题目,应用极大似然估计法就是寻找参数θ,使得此次抽到的结果最大,那么此时的θ设为白球个数,则抽到白球的概率为
    P = P(x=白球)= θ /100,
    抽到黑球的概率为
    P1 = P(x=黑球) = (1-P(x=白球)) = 1 - P
    那么抽到6个白球,四个黑球的概率为:
    ![在这里插入图片描述](https://img-blog.csdn.net/20181004111606530?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMzM1MA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
    现在的问题就是确定p的值使得概率最大,首先取对数,得到
    在这里插入图片描述
    然后求导
    求导之后的值
    导数为0时取得最大值,得到白球四十个,黑球六十个。
    这个估计值准不准确,不一定,但是可以一个估计和评判的标注。
    以下为极大似然估计法的求解步骤,这里照搬网上的一个方法。
    在这里插入图片描述
    对于泊松分布和正态分布大家可以自行推导参数,发现与定义的一致,有兴趣的可以看一下这十几张PPT,
    极大似然估计法原理

    3 运用

    1线性回归
    在线性回归模型中,误差函数我们使用的是平方和,为什么采用平方和,而不是绝对值呢,首先在线性回归模型中整体的求解方程如下:
    在这里插入图片描述
    希望可以找出参数向量w使得预测的值与真实值更加的接近,即误差最小,那么这里引进b 作为误差,注意我这里的参数b ,是误差,而不是偏移量,偏移量可以加入到w参数里面,也就是为了方便起见,还是引入ε为误差吧(因为实在没有找到其他的符号)
    在这里插入图片描述
    那么现在就是要最小化ε,在这里我们假设ε满足正态分布
    在这里插入图片描述
    ,这个假设我也不太懂,就当是经验吧,现在关键点在于如何求出μ,σ使得ε最小。由此我们得到
    在这里插入图片描述
    由之前求过正态分布的极大似然估计可知,不知道的可以看如下链接:
    添加链接描述
    ε的概率密度为:
    在这里插入图片描述
    似然函数为:
    在这里插入图片描述
    对数函数为:
    在这里插入图片描述
    在这里陷入了迷茫因为与两个参数有关μ,σ,要是求解也能求,对两个变量进行偏导,最终得到
    在这里插入图片描述
    但是这样的话如何使得ε最小呢,其中
    在这里插入图片描述
    后来在网上看到在假设正态分布时假设为N(0,σ^2),即假设μ=0,此时重新计算得到
    似然函数为
    在这里插入图片描述
    其中的
    在这里插入图片描述
    就是误差函数ε的值,因此若要似然函数最大,则均方误差要最小,也就是当均方误差最小时,参数是样本的极大似然估计。

    2贝叶斯分类
    贝叶斯分类来说,很多人知道这个公式,其中B代表特征,即一个样本,A代表所属的类别,
    在这里插入图片描述
    在训练数据中通过这个公式来训练模型,对于P(B)和P(A)来说,P(A)可以通过统计计算,即某一类占总类的比例,P(B)对于所有类标记相同,因此问题就转化为了P(B|A)上,P(B|A)就是常说的类条件概率,对于B特征的每一个属性来说,现实世界中的值可能往往在训练集中没有出现过,例如在训练数据中B中的某一个属性有三个值m,n,p,然而现实世界中可能不止,比如说在训练数据中该属性出现了q,那么此时根据计算概率为0,显然是不行的,因为数据未被观测到和出现概率为零通常是不一样的。那么对于未知的数据该如何处理呢,这里我们采用极大似然估计法,
    假设P(x|c),c为类别,x为特征,也就是上面的P(B|A),假设P(x|c)可以被参数向量θ确定,这里假设某一类样本的集合为D,那么对于类别为c的参数θ对于D的似然函数就是,
    在这里插入图片描述
    其中Xi为类别为c的集合D中的样本,n为集合D的数目,通过取对数可求得对数似然函数为:
    在这里插入图片描述
    在这里假设概率密度函数满足
    在这里插入图片描述

    最终求得:
    在这里插入图片描述
    因此在离散属性情形下,可以通过这样的方式来计算类条件概率。
    这是目前我所了解的应用,十分感谢一些博客对于我的学习有了很大的帮助
    https://blog.csdn.net/u011508640/article/details/72815981
    https://blog.csdn.net/z_x_1996/article/details/70176819
    https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html

    展开全文
  • 极大似然估计详解

    万次阅读 多人点赞 2017-05-28 00:55:10
     以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下: 贝叶斯决策  首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:  其中:p(w):...

    极大似然估计

            以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:


    贝叶斯决策

            首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:


            其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,并且它属于某一类别的概率,有了这个后验概率,我们就可以对样本进行分类。后验概率越大,说明某事物属于这个类别的可能性越大,我们越有理由把它归到这个类别下。

            我们来看一个直观的例子:已知:在夏季,某公园男性穿凉鞋的概率为1/2,女性穿凉鞋的概率为2/3,并且该公园中男女比例通常为2:1,问题:若你在公园中随机遇到一个穿凉鞋的人,请问他的性别为男性或女性的概率分别为多少?

            从问题看,就是上面讲的,某事发生了,它属于某一类别的概率是多少?即后验概率。

            设:

            由已知可得:

            男性和女性穿凉鞋相互独立,所以

    (若只考虑分类问题,只需要比较后验概率的大小,的取值并不重要)。

            由贝叶斯公式算出:


    问题引出

            但是在实际问题中并不都是这样幸运的,我们能获得的数据可能只有有限数目的样本数据,而先验概率和类条件概率(各类的总体分布)都是未知的。根据仅有的样本数据进行分类时,一种可行的办法是我们需要先对先验概率和类条件概率进行估计,然后再套用贝叶斯分类器。

            先验概率的估计较简单,1、每个样本所属的自然状态都是已知的(有监督学习);2、依靠经验;3、用训练样本中各类出现的频率估计。

            类条件概率的估计(非常难),原因包括:概率密度函数包含了一个随机变量的全部信息;样本数据可能不多;特征向量x的维度可能很大等等。总之要直接估计类条件概率的密度函数很难。解决的办法就是,把估计完全未知的概率密度转化为估计参数。这里就将概率密度估计问题转化为参数估计问题,极大似然估计就是一种参数估计方法。当然了,概率密度函数的选取很重要,模型正确,在样本区域无穷时,我们会得到较准确的估计值,如果模型都错了,那估计半天的参数,肯定也没啥意义了。


    重要前提

            上面说到,参数估计问题只是实际问题求解过程中的一种简化方法(由于直接估计类条件概率密度函数很困难)。所以能够使用极大似然估计方法的样本必须需要满足一些前提假设。

            重要前提:训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件),且有充分的训练样本


    极大似然估计

            极大似然估计的原理,用一张图片来说明,如下图所示:


            总结起来,最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。

            原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

            由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:


            似然函数(linkehood function):联合概率密度函数称为相对于的θ的似然函数。


            如果是参数空间中能使似然函数最大的θ值,则应该是“最可能”的参数值,那么就是θ的极大似然估计量。它是样本集的函数,记作:



    求解极大似然函数

            ML估计:求使得出现该组样本的概率最大的θ值。


             实际中为了便于分析,定义了对数似然函数:


            1. 未知参数只有一个(θ为标量)

            在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:


            2.未知参数有多个(θ为向量)

            则θ可表示为具有S个分量的未知向量:


             记梯度算子:


             若似然函数满足连续可导的条件,则最大似然估计量就是如下方程的解。


             方程的解只是一个估计值,只有在样本数趋于无限多的时候,它才会接近于真实值。


    极大似然估计的例子

            例1:设样本服从正态分布,则似然函数为:


            它的对数:


            求导,得方程组:


            联合解得:


            似然方程有唯一解:,而且它一定是最大值点,这是因为当时,非负函数。于是U的极大似然估计为


            例2:设样本服从均匀分布[a, b]。则X的概率密度函数:


            对样本


            很显然,L(a,b)作为a和b的二元函数是不连续的,这时不能用导数来求解。而必须从极大似然估计的定义出发,求L(a,b)的最大值,为使L(a,b)达到最大,b-a应该尽可能地小,但b又不能小于,否则,L(a,b)=0。类似地a不能大过,因此,a和b的极大似然估计:



    总结

            求最大似然估计量的一般步骤:

            (1)写出似然函数;

            (2)对似然函数取对数,并整理;

            (3)求导数;

            (4)解似然方程。

            最大似然估计的特点:

            1.比其他估计方法更加简单;

            2.收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;

            3.如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。


    正态分布ML估计的Matlab实例:点击打开链接

    展开全文
  • 极大似然估计法

    2021-04-21 16:14:36
    如何通俗地理解概率论中的「极大似然估计法」? 总结:以过去大量的相同事件来判断目前正在发生的类似事件,这就是极大似然 我们假设硬币有两面,一面是“花”,一面是“字”。 一般来说,我们都觉得硬币是公平的,也...

    如何通俗地理解概率论中的「极大似然估计法」?

    总结:以过去大量的相同事件来判断目前正在发生的类似事件,这就是极大似然

    我们假设硬币有两面,一面是“花”,一面是“字”。
    一般来说,我们都觉得硬币是公平的,也就是“花”和“字”出现的概率是差不多的。
    如果我扔了100次硬币,100次出现的都是“花”。
    在这样的事实下,我觉得似乎硬币的参数不正常。极有可能两面都是“花”!
    这种通过事实,反过来猜测硬币的情况,就是似然。
    在这里插入图片描述
    通过事实,推断出最有可能的硬币情况,就是最大似然估计。

    1 概率vs似然

    让我们先来比较下概率和似然。
    为了避免和我们想讨论的概率混淆,我们把硬币的“花”出现的概率称为硬币的参数。

    1.1 概率
    已知硬币的参数,就可以去推测抛硬币的各种情况的可能性,这称为概率。
    比如已知硬币是个正常的硬币,也就是硬币的参数为0.5。
    那么我们就可以推测,扔10次硬币,出现5次“花”朝上的概率为(抛硬币遵循二项分布,这个就不多解释了):
    在这里插入图片描述
    注:等式左边小括号是组合表达式 C 10 5 C_{10}^{5}C105​ 。因为扔10次硬币,到底哪5次"花"朝上,是不确定的。关于排列组合数的python实现:https://www.cnblogs.com/bonelee/p/9052320.html

    1.2 似然
    正如开头所说,我们对硬币的参数并不清楚,要通过抛硬币的情况去推测硬币的参数,这称为似然。
    可以再举不那么恰当(主要模型不好建立)的例子,蹭下热点。

    比如我们发现,鹿晗和关晓彤戴同款手链,穿同款卫衣,我们应该可以推测这两人关系的“参数”是“亲密”。
    进一步发现,两人在同一个地方跨年,似乎,关系的“参数”是“不简单”。
    最后,关晓彤号称要把初吻留给男友,但是最近在荧幕中献出初吻,对象就是鹿晗:我觉得最大的可能性,关系的“参数”是“在一起”。

    通过证据,对两人的关系的“参数”进行推断,叫做似然,得到最可能的参数,叫做最大似然估计。

    2 最大似然估计

    来看看怎么进行最大似然估计。

    2.1 具体的例子
    我们实验的结果是,10次抛硬币,有6次是“花”。
    所谓最大似然估计,就是假设硬币的参数,然后计算实验结果的概率是多少,概率越大的,那么这个假设的参数就越可能是真的。
    我们先看看硬币是否是公平的,就用0.5作为硬币的参数,实验结果的概率为:
    在这里插入图片描述
    单独的一次计算没有什么意义,让我们继续往后面看。
    再试试用0.6作为硬币的参数,实验结果的概率为:
    在这里插入图片描述
    之前说了,单次计算没有什么意义,但是两次计算就有意义了,因为可以进行比较了。
    可以看到:
    在这里插入图片描述
    我们可以认为,0.6作为参数的可能性,是0.5作为参数的可能性的1.2倍。

    2.2 作图
    我们设硬币的参数为为 θ \thetaθ ,可以得到似然函数为:
    在这里插入图片描述
    这个函数用图形表示就是这样(横轴是 θ \thetaθ , 纵轴是 似然函数 L)
    在这里插入图片描述
    我们可以从图中看出两点:
    • 参数为0.6时,概率最大
    • 参数为0.5 或其他值也是有可能的,但可能性都小一点
    所以更准确的说,似然(现在可以说似然函数了)是参数 θ \thetaθ 的概率分布。

    而求最大似然估计的问题,就变成了求似然函数的极值。在这里,极值出现在 θ \thetaθ 为 0.6 时。

    2.3 更多的实验结果
    如果实验结果是,投掷100次,出现了60次“花”呢?
    似然函数为:
    在这里插入图片描述
    用 0.5 作为硬币的参数,实验结果的概率为:
    在这里插入图片描述
    再试试用0.6作为硬币的参数,实验结果的概率为:
    在这里插入图片描述
    此时,0.6作为参数的可能性是0.5作为参数的可能性的8倍,新的实验结果更加支持0.6这个参数

    用图形表示这个似然函数:
    在这里插入图片描述
    很明显图像缩窄了,可以这么解读,可选的参数的分布更集中了。也就是越多的实验结果(抛100次 vs. 抛 10次),让参数越来越明确。

    2.4 更复杂一些的最大似然估计

    2.4.1 数学名词
    下面提升一点难度,开始采用更多的数学名词了。
    先说一下数学名词:
    • 一次实验:抛硬币10次,出现6次“花”,就是一次实验。
    • 二项分布:抛硬币10次,出现6次“花”的概率为0.25,出现5次“花”的概率为0.21,所有的可能的结果(比如抛硬币10次,出现11次“花”,这就是不可能)的概率,放在一起就是二项分布

    2.4.2 多次实验
    之前的例子只做了一次实验。只做一次实验,没有必要算这么复杂,比如投掷100次,出现了60次“花”,我直接这样求最大似然估计:
    在这里插入图片描述
    不就好了?

    最大似然估计真正的用途是针对多次实验。

    2.4.3 上帝视角

    为了说清楚这个问题,我引入一个上帝视角。
    比如,我有如下的二项分布,θ \thetaθ 为出现“花”的概率(硬币最多抛10次):
    在这里插入图片描述
    在实际生活中,θ \thetaθ 往往是不知道的,这里你可以看得到,就好像你是上帝一样。

    要提醒大家注意的一点,上面的图像只有上帝才能看到的,包括:
    • 二次分布的柱状图
    • 二次分布的曲线图
    • θ \thetaθ 值为多少
    我把只有上帝能看到的用虚线表示,θ \thetaθ 用淡一点的颜色表示:
    在这里插入图片描述

    2.4.4 通过多次实验进行最大似然估计

    上面的二项分布用通俗点的话来说,就是描述了抛10次硬币的结果的概率,其中,“花”出现的概率为 θ \thetaθ
    针对上面的二项分布,我进行6次实验(也就是总共6次,每次抛10次硬币),把实验结果用点的形式标记在图像上(从技术上讲,这6个点是根据二项分布随机得到的):
    在这里插入图片描述
    这个实验结果,也就是图上的点,是我们“愚蠢的人类”可以看见的了。

    可以看到,虽然进行了6次实验,但是却没有6个点,这是因为有的实验结果是一样的,就重合了。
    为了方便观察,我把6个点的值用文字表示出来:
    上图中的 {4,5,5,2,7,4} 就是6次实验的结果,分别表示:
    • 第一次实验,4次出现“花”
    • 第二次实验,5次出现“花”
    • 第三次实验,5次出现“花”
    • 以此类推
    我们用 x 1 , x 2 , x 3 , … x n x_1,x_2,x_3,…x_nx1​,x2​,x3​,…x**n​ 表示每次实验结果,因为每次实验都是独立的,所以,多次实验的似然函数可以写作(得到这个似然函数很简单,独立事件的联合概率,直接相乘就可以得到):
    在这里插入图片描述
    f ( x n ∣ θ ) f(x_n|\theta)f(x**n​∣θ) 表示在同一个参数下的实验结果,也可以认为是条件概率。
    上面除了实验结果外,其他都是上帝看到的,而下面是通过实验结果,利用似然函数对 θ \thetaθ 值进行推断:
    下面这幅图,分为两部分,上面这个图是6次试验的上帝视角,下图是估算出的 θ \thetaθ 值(具体的估算方法参见二项分布的最大似然估计相关的算法和计算步骤)。
    在这里插入图片描述
    可以看出,推断出来的 θ \thetaθ 值和上帝看到的差不多。之所以有差别是因为实验本身具有二项随机性,相信试验次数越多,推测会越准确。
    自己动手试试当上帝的感觉吧,上面的 滑动条可以拖动哦:
    此处有互动内容,点击此处前往操作

    最大似然估计也是机器学习的一个重要算法,大家是否通过上面的操作,是否感受到了机器是如何学习的?

    3 最大似然估计与贝叶斯定理的异同

    3.1 相同之处
    扔了100次硬币,100次出现的都是“花”,不论是最大似然估计,或者是贝叶斯定理,都认为有必要对之前假设的硬币的参数进行调整。
    我在 怎样用非数学语言讲解贝叶斯定理(Bayes’ theorem)? 的最后也提出了这个问题。

    3.2 不同之处
    贝叶斯定理还要考虑,两面都是“花”的硬币本身存在的概率有多高。
    如果我的硬币不是精心准备的,而是随机挑选的,那么一枚硬币两面都是“花”可能性微乎其微,几乎就是一个传说。
    那么贝叶斯会认为哪怕扔了100次硬币,100次出现的都是“花”,但是因为两面都是“花”的硬币实在太少,那么实际这枚硬币是两面“花”的可能性仍然不高。

    4 如何求解极大似然估计

    https://blog.csdn.net/zengxiantao1994/article/details/72787849

    5 极大似然估计的python实现

    https://blog.csdn.net/pengjian444/article/details/71215965

    6 参考

    本文转载自 https://www.matongxue.com/madocs/447.html

    展开全文
  • 今天讲一个在机器学习中重要的方法——极大似然估计。这是一个,能够让你拥有拟合最大盈利函数模型的估计方法。01什么是极大似然估计法极大似然估计是1821年由高斯提出,1...
        

    640?wx_fmt=gif

    今天讲一个在机器学习中重要的方法——极大似然估计

    这是一个,能够让你拥有拟合最大盈利函数模型的估计方法。

    01

    什么是极大似然估计法

    极大似然估计是 1821 年由高斯提出,1912 年由费希尔完善的一种点估计方法。

    通俗来说,极大似然估计法其实源自生活的点点滴滴,比方说有一个大学生他天天上课不听讲,天天上课玩手机,老师盯着他看了老半天,他也不知道收敛一些,那通过老师几十年的教学经验的判断,这小子期末一定是挂科的,果不其然,他真的挂科了。

    老师以过去大量的相同事件来判断目前正在发生的类似事件,这就是极大似然。

    其实一开始写这个分享,我准备了很多小故事,希望用风趣幽默的文法把一个很抽象的数学名词尽可能的讲给所有人听,让大家都能理解并接受。后来我发现,用上面老师和学生的例子是最为贴切的,因为也曾经这样预判过别人。

    好啦,故事讲完了,接下来就是重头菜了,原理看着很清晰,但实操起来,需要概率论基础以及利用微分求极值。

    导数

    导数的概念的其实挺简单的,这里我们不要求掌握太多的关于微积分的公式,只消会求导就可以了,关于基本初等函数的求导,大家可以在这里查找自己需要的求导公式。

    复合函数的求导满足链式法则:

    640?wx_fmt=png

    值得一提的还有关于导函数求驻点,即令 640?wx_fmt=png,并求解 x,所得到的 x 即为驻点,驻点回代原函数可得极值。

    02

    求解极大似然估计量的四步骤

    终于到了本文的小高潮,如何利用极大似然估计法来求极大似然估计量呢?

    首先我们来看一个例子:有一个抽奖箱,里面有若干红球和白球,除颜色外,其他一模一样。我们每次从中拿出一个后记录下来再放回去,重复十次操作后发现,有七次抽到了红球,三次是白球,请估计红球所占的比例。

    从题目可以分析出本次例子满足二项分布,现在可以设事件 A 为"抽到红球",那可以得到一个式子:

    640?wx_fmt=png(1)

    现在的目的就是为了求这个 P(A),那要怎么求才又快又准呢?如果用求导解驻点来寻找极值,7 次方好像也不是很大,那要是我们重复进行了一百、一千次操作呢?所以,优化算法势在必行,下面的骚操作就是先辈们经过不懈地探求总结出来的——先取对数再求导!


    对(1)式取对数,得:

    640?wx_fmt=png

    对上式求导,整理得:

    640?wx_fmt=png

    令该导数为零,可得式子:

    640?wx_fmt=png

    解得640?wx_fmt=png

    从这个例子中我们可以得到和《概率论与数理统计》一书中相匹配的抽象结果:设总体 X 为离散型随机变量,且它的概率分布为640?wx_fmt=png

    其中 θ 为未知参数640?wx_fmt=png 和 640?wx_fmt=png 

    分别为 X 的一组样本和样本观察值。则参数 θ 的取值应该使得概率:

    640?wx_fmt=png

    达到最大值,今后我们称 θ 的函数:

    ‍‍640?wx_fmt=png

    为 θ 的似然函数,上式是其样本取对应观察值的概率。同时,如果有 

    640?wx_fmt=png

    使得:

    640?wx_fmt=png

    则称 640?wx_fmt=png为 θ 的极大似然估计量。从上述一般结果的抽象描述中,我们可以剥离出求解 640?wx_fmt=png 的一般步骤:

    1. 写出似然函数 640?wx_fmt=png ;

    2. 对似然函数取对数(视情况而定);

    3. 求对数似然函数对未知参数的导函数 640?wx_fmt=png 

    4. 令导函数为 0,方程的解即为极大似然解;

    03

    基于极大似然原理的 KNN 算法

    KNN,即 K-近邻算法,是极大似然的一个体现,具体思想如下:

    首先我们定义一个点,这个点很特别,它具有:

    X轴的值

    Y轴的值

    颜色标签(这里我们使用黑、红、蓝三种颜色做个演示)

    然后我们多搞几个点,制造出点群,也是较为简陋的一个数据集

    640?wx_fmt=png

    接着有一个不知道自己是啥颜色的小不点溜进来了

    640?wx_fmt=png

    现在黑、蓝、红三个点群展开了激烈的争论,到底这个小不点是属于哪一方的!

    可是应该如何来判决呢?

    小不点想出了一个绝妙的法子,记录自身到每一个颜色点的距离,然后选取其中 K 个距离值,并以最大的那个距离为半径,自身为圆心,画一个圆,计算圆内每一个颜色占总点数的概率,最大概率的那个颜色标签即是小不点的颜色。

    640?wx_fmt=png

    当 k=2 时


    640?wx_fmt=png 当 k=6 时

    我们可以发现在有效的K值内,小不点有极大概率是蓝色的,因此我们赋予它一个蓝色的颜色标签。至此 KNN 的基本原理已经阐明,该贴一份 C 的 KNN 代码啦。

    但还有一个问题:如何选择一个最优的 K 值?

    这个问题留以后在《基于K-近邻算法的 KD-tree 详解》中进行系统的讲解,目前一般使用交叉验证或贝叶斯,先挖个坑在这里,以后慢慢填啦~

    04

    KNN 算法的 C 简单实现

    640?wx_fmt=png

    测试图如下:

    640?wx_fmt=png

    KNN 还有更好玩的方法哦,比如 K-D tree,分治思想下的模型,速度更快哦。

    参考资料:

    《概率论与数理统计》安书田版

    维基百科的极大似然估计条目——国内上不了 Wiki 百科,有俩办法,一个是改 host,另一个你懂的。

    CSDN《Markdown 数学符号》——我真的写这篇被这些数学符号搞得快要原地爆炸了!

    作者简介:

    浅浅,目前在闽南师范大学就读,爱好国学与晨跑,痴迷机器学习与数据挖掘,Lisp爱好者。

    640?wx_fmt=gif

    展开全文
  • 极大似然估计法的理解和用途

    千次阅读 2019-08-20 18:01:00
      极大似然估计法是求点估计的常用方法之一。极大似然估计法是建立在已知总体分部形式上的估计方法。 1. 基本思想 思想:在给定样本观察值的条件下,用使这组样本观察值出现概率最大的参数 θ 的估计。 可能仅...
  • 极大似然估计四个步骤

    千次阅读 2020-04-20 12:46:05
    极大似然估计参数估计的四个步骤 (1) 写出似然函数; (2) 对似然函数取对数,并整理; (3) 求导数 ; (4) 解似然方程 。 极大似然估计的概念 极大似然估计,只是一种概率论在统计学的应用,它是参数...
  • 极大似然估计法的原理和方法

    千次阅读 2018-05-13 15:58:29
    1、极大似然估计的理解与应用2、深入浅出最大似然估计(Maximum Likelihood Estimation)3、极大似然估计的原理和方法——强烈推荐,PPT其实讲的已经很清楚了4、极大似然估计详解...
  • 之前多次接触极大似然估计,一直没有透彻的理解清楚,下午特意抽空查阅资料,整理成一篇较为通俗易懂的博文。 概念  “似然” ( likelihood )可以通俗的理解成 ”像是这样“ ,意思为 ”事件(观察数据)发生的...
  • 如何通俗地理解概率论中的「极大似然估计法」?

    万次阅读 多人点赞 2019-06-08 17:15:54
    我们假设硬币有两面,一面是“花”,一面是“字”。 一般来说,我们都觉得硬币是公平的,也就是“花”和“字”...通过事实,推断出最有可能的硬币情况,就是最大似然估计。 1 概率vs似然 让我们先来比较下概率和似然...
  • 极大似然估计

    2019-02-04 15:34:09
    参数估计是机器学习里面的一个重要主题,而极大似然估计是最传统、使用最广泛的估计方法之一。 本文主要介绍了极大似然估计,简单说明了其和矩估计、贝叶斯估计的异同,其他估计(如MAP)并不涉及。 为什么要...
  • 目录 1.概率模型和非概率模型 ...3.4 极大似然估计法求估计值的步骤 3.5 例题 1.概率模型和非概率模型 要介绍极大似然估计和最大后验估计,就要先从概率模型和非概率模型说起。极大似然估计和最大后验估计都.
  • 极大似然估计思想的最简单解释

    万次阅读 多人点赞 2018-03-28 11:10:12
    极大似然估计法的理解可以从三个角度入手,一个是整体性的思想,然后两个分别是离散状态的极大似然估计和连续状态的极大似然估计的简单例子。一、思想极大似然估计可以拆成三个词,分别是“极大”、“似然”、“估计...
  • 二、极大似然原理及数学表示三、极大似然估计法(Maximum Likelihood Estimation,MLE)四、 极大似然估计法求估计值的步骤:五、极大似然估计法应用六、总结 一、什么是极大似然估计? 1.首先来看贝叶斯分类,我们都...
  • 什么是极大似然估计

    千次阅读 2018-08-12 19:08:30
    ● 每周一言 坚持一定是有毅力,但有毅力不一定能坚持。 导语 统计学中,我们经常能听到...极大似然估计(maximum likelihood estimation,MLE),顾名思义,“极大”意为“最有可能的”,“似然”意为“看起来...
  • 极大似然估计 极大后验估计 贝叶斯估计 最小二乘法1 极大似然估计极大似然估计(Maximum Likelihood Estimation, MLE)/最大似然估计/最大概似估计 是一种参数估计方法,即已知样本估计出模型的参数。一般说来,事件A...
  • 极大似然估计个人理解 极大似然估计属于频率派统计。 极大似然估计理解: 对给定的一组样本,对他的分布进行估计。 拿正态分布来说:上帝(知道正态分布里真正的的μ和θ比如μ=0,θ=0.4)从这个分布里拿出N个样本点...
  • 求解极大似然估计,一共有几步?

    千次阅读 2019-06-08 21:52:38
    极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观...
  • 参数估计是机器学习里面的一个重要主题,而极大似然估计是最传统、使用最广泛的估计方法之一。 本文主要介绍了极大似然估计,简单说明了其和矩估计、贝叶斯估计的异同,其他估计(如MAP)并不涉及。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,853
精华内容 2,341
关键字:

极大似然估计法的步骤