精华内容
下载资源
问答
  • 加之前不久的面试笔试部分,有一道简述极大似然和贝叶斯的原理与区别的问题。因此更加加剧了我学习写下这篇文章的想法。下面算是我对知识的整理及认识,不算面面俱到,但也体现了我的整体思路,欢迎读者讨论或指正。

            在机器学习当中,我们会经常遇到有关朴素贝叶斯的知识。其出现频率可以说是占据ML的半壁江山。作为热门的概率论的分类方法,有必要对其深入了解。加之前不久的面试笔试部分,有一道简述极大似然和贝叶斯的原理与区别的问题。因此更加加剧了我学习写下这篇文章的想法。下面算是我对知识的整理及认识,不算面面俱到,但也体现了我的整体思路,欢迎读者讨论或指正。

    极大似然估计与贝叶斯估计的区别
    贝叶斯公式

    P(wx)=P(xw)P(w)P(x)

    这里解释一下符号的含义:
    x :已知条件或者已有的数据
    w:条件样本,个人理解在某个 x 样本中,w为可能存在的行为或者样本。(注意,在极大似然估计中也可理解为要估计的参数,因为两种方法对待w的态度不同,后面会有介绍)
    P(w) :先验概率
    P(x) :数据的分布,即某个数据样本在整体出现的概率
    P(wx) :后验概率
    P(xw) :条件概率或极大似然函数
            关于理解先验和后验两者的概念,这里直接给出链接。里面的例子足够解释其关系。总体概括就是 P(BA) 以后者A为前提下发生B的概率,反之亦然。
    参考链接: https://www.zhihu.com/question/19725590
            贝叶斯估计根据先验概率与已知条件概率(似然函数)计算后验概率,其参数服从某种概率,当数据量较小时,以先验概率作为提高后验概率的基准。
            贝叶斯估计认为事物依据概率分布的,所以在预测某样本数据时,可以依据概率产生的“经验”。无论其是否可靠,这种“经验”都会被作为已知条件。
            相反,极大似然估计靠已有的数据样本从而推测出事物的最有可能的分布概率。所以在数据样本量大的情况下,这种概率更为可靠。两种思想对于概率(在此称其为参数)的态度不同。 极大似然估计就是假设一个参数 θ ,然后根据数据来求出这个 θ 而贝叶斯估计的难点在于 p(θ) 需要人为设定。

    极大似然估计模型推导
            已知样本集 D={x1,x2,,xn} ,对于样本集的理解有如下例子:假设有一个装了黑色和灰色石头的罐子,从罐子里面每次取一颗石头,取3次,得到2次灰色1次黑色,假设条件独立。则有 n=3 ;记灰色石子为G,黑色为B,则有 D={GGB} ;取到灰色石子概率为 θ ,则取到黑色 1θ
            我们有 P(Dθ) 似然函数,则求最大的 θ ,因此称之为极大似然估计,有公式:

    argmaxθP(Dθ)

            又有:
    P(Dθ)=i=1nP(xiθ)

            当 P(Dθ) 的导数等于0的情况下,可以得到最大的 θ 。因此上面的例子就有:
    P(Dθ)=P(x1θ)P(x2θ)P(x3θ)=θθ1θ
    求导:
    2θ3θ2=0
    得到从罐子中取出石头颜色为灰色的概率 2/3

            对于较难求导的似然函数,我们可以选择对数似然函数,根据对数运算可得:

    lni=1nP(xiθ)=i=1nlnP(xiθ)
    从而对右侧进行求导。

            网上还有提及到样本成正态分布的对数似然函数推导公式,在此不做列举了。只是在对于样本的方差估计上分无偏估计(unbiased estimator)与有偏估计(biased estimator)。因此,样本方差计算

    1ni=1n(Xiμ)2

    当不知道 μ 的去情况下,可以使用样本平均值 X¯¯¯ 来计算:

    1n1i=1n(XiX¯¯¯)2

    参考链接:https://www.zhihu.com/question/20099757
    链接很好的回答了其中无偏估计比有偏估计更符合常识的原因。

    展开全文
  • 1.参数估计:矩估计样本统计量设X1,X2…Xn…X_1,X_2…X_n…为一组样本,则 - 样本均值 : X¯¯¯=1n∑i=1nXi\overline{X} = \frac{1}{n}\sum^n_{i=1}X_i - 样本方差:S2=1n−1∑i=1n(Xi−X¯¯¯)2S^2 = \frac{1...

    1.参数估计:矩估计

    样本统计量

    X1,X2Xn 为一组样本,则
    - 样本均值 :

    X¯¯¯=1ni=1nXi

    - 样本方差:
    S2=1n1i=1n(XiX¯¯¯)2

    样本方差的分布使用n-1而非n,是为了无偏
    - k阶样本原点矩 (k=1时即均值)
    Ak=1ni=1nXki

    • k阶样本中心矩 (k=2时即方差)
      Mk=1ni=1n(XiX¯¯¯)k

    1.1矩估计

    那么随机变量的矩和样本的矩,有什么关系?
    换个提法:假设总体服从某参数为 θ θ 为记号,无特殊意义)的分布,从总体中抽出一部分样本 X1,X2Xn ,如何去估计参数 θ


    假设样本是独立的
    - 可以通过 X1,X2Xn ,利用前面样本统计量的公式计算样本的 k 阶矩,
    - 当假设样本的k阶矩等于总体的 k 阶矩,可以估计出总体的参数θ

    这个就是矩估计.

    • 我们设总体的均值为 μ ,方差 σ2 ,( μ σ2 是未知的,待求)则有原点距表达式:

      f(x)={E(X)=μE(X2)=Var(X)+[E(X)]2=μ2+σ2

    • 根据该总体的一组样本,求得原点距:

      {A1=1nni=1XiA2=1nni=1X2i

    • μ=A1 , μ2+σ2=A2 ,联立方程组得:
      μ=X¯¯¯σ2=1nni=1X2iX2¯¯¯¯¯=1nni=1(XiX¯¯¯)2
    • 我们就用样本均值去估计总体均值。
    • 由于是根据样本求得的估计结果,根据记号习惯,写作
      {μ^=X¯¯¯σ2^=1nni=1(XiX¯¯¯)2

    2.极大似然估计

    贝叶斯公式带来的思考

    给定某些样本 D ,在这些样本中计算某结论A1,A2....An,出现的概率,即 P(Ai|D)

    maxP(Ai|D)=maxP(D|Ai)P(Ai)P(D) <>贝叶斯公式

    =max(P(D|Ai)P(Ai)) <>因为样本是给定的, P(D) 是常数

    maxP(D|Ai) <>若这些结论 A1,A2....An 的先验概率相等或近似,则:

    maxP(Ai|D)maxP(D|Ai)


    • 贝叶斯公式 P(Ai|D) 表示给定样本下,算分布的参数,看哪一组参数取得的概率最大。我们就认为哪一组参数是最有可能的。
    通过上式,我们发现它近似等于,在给定参数下,哪一组参数能使样本数据最有可能的发生。颠倒了因果。我们把估计这个参数使得概率的方法称为极大似然估计

    极大似然估计公式表达

    • 设总体分布为 f(x,θ) X1,X2Xn 为该总体采样得 到的样本。因为 X1,X2Xn 独立同分布,于是,它们的联合密度函数为:
      L(x1,x2....xn;θ1,θ2,...θn)=i=1nf(xi;θ1,θ2,...θn)

      也可以看成是每个样本 X1,X2Xn 在参数 θ 下发生概率的乘积。
    • 又因为样本是固定的,而参数 θ 是未知的,所以 L(x,θ) 是关于 θ 的函数,即似然函数。
    • 那么求参数 θ ,使得似然函数取得 ,称之为极大似然估计

    极大似然估计的具体实践操作

    在实践中,为了求导方便,往往将似然函数取对数,若对数似然函数可导,可令导数等于0解方程组得到驻点,分析是否是极大值点。

    logL(θ1,θ2,...θk)=i=1nlogf(x1;θ1,θ2,...θn)

    L(θ)θ=0,i=1,2,...k
    这里实际上是分别对 θ1,θ2,...θk 求偏导,解方程组。

    应用:高斯分布的极大似然估计

    • 若给定一组样本 X1,X2Xn ,已知它们来自于高斯分布 N(μ,σ) ,试估计参数 μ,σ

    按照MLE的过程分析:

    • 高斯分布的概率密度函数:
      f(x)=12πσe(xμ)22σ2
    • Xi 的样本 xi 值带入,得到:
      L(x)=i=1n12πσe(xμ)22σ2
    • 似然函数取对数
      l(x)=logi12πσe(xμ)22σ2
      =ilog12πσe(xμ)22σ2 各个乘积取log等价于每个log的加和
      =(ilog12πσ)+(i(xμ)22σ2) log =-\frac{n}{2}log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_i(x_i-\mu)^2 log -\frac{1}{2} \sum_i lognlogn \frac{1}{2\sigma^2}$提出来而已。

    • 分别对 μ,σ 求偏导就可以求出均值和方差。

      μ=1niXi

      σ2=1nσi(xiμ)2

      上述结论和据估计结论是一致的,并且意义非常直观。

    • 注:在经典意义下的方差,分母是 n1 ;在似然估计的方法中,求得方差是 n <script type="math/tex" id="MathJax-Element-67">n</script>
    展开全文
  • 论文研究-MRR模型一类正态总体极大似然估计法及检验.pdf, Madhavan等给出了一个著名的价差分解模型:MRR模型. MRR模型利用广义矩方法估计参数,这使得该模型在扩展上...
  • 极大似然估计方差

    千次阅读 2019-10-07 21:56:47
    相关概念:极大似然估计,score function,Fisher information Let f(X; θ) be the probability density function (or probability mass function) for X conditional on the value of θ. This is also the ...

    相关概念:极大似然估计,score function,Fisher information

    Let f(X; θ) be the probability density function (or probability mass function) for X conditional on the value of θ. This is also the likelihood function for θ. It describes the probability that we observe a given sample X, given a known value of θ.

    1、If f is sharply peaked with respect to changes in θ, it is easy to indicate the “correct” value of θ from the data, or equivalently, that the data X provides a lot of information about the parameter θ

    2、If the likelihood f is flat and spread-out, then it would take many, many samples like X to estimate the actual “true” value of θ that would be obtained using the entire population being sampled.

    two if : This suggests studying some kind of variance with respect to θ.

    score function: 对数似然函数的一阶导

    以上是证明一阶导的期望为0

    fisher information:score function的二阶矩

    Note that0 \leq \mathcal{I}(\theta) < \infty. A random variable carrying high Fisher information implies that the absolute value of the score is often high. The Fisher information is not a function of a particular observation, as the random variable X has been averaged out.

    如果对数似然函数的二阶可导,则Fisher信息量可写成:

    因为:

    {

     对数似然的一阶导

      一阶导的方差就是信息量}

    同时由于:

    Thus, the Fisher information may be seen as the curvature (曲率)of the support curve (the graph of the log-likelihood). Near the maximum likelihood estimate, low Fisher information therefore indicates that the maximum appears "blunt", that is, the maximum is shallow and there are many nearby values with a similar log-likelihood. Conversely, high Fisher information indicates that the maximum is sharp.

     信息量可加:

     

     

    转载于:https://www.cnblogs.com/JoAnnal/p/6853063.html

    展开全文
  • 矩估计与最大似然估计

    千次阅读 2017-10-20 23:24:17
    一、为什么要估计...我们先抽取样本,然后通过统计样本的情况,去估计总体。下面是数学中常用到的术语:  ·总体(Populantion)。通常它均值(mean)用 μ 表示。方差用表示。  ·样本(Sample)。通常它的

     

     

    一、为什么要估计(estimate)

     

     

     在概率,统计学中,我们所要观测的数据往往是很大的,(比如统计全国身高情况)我们几乎不可能去统计如此之多的值。这时候,就需要用到估计了。我们先抽取样本,然后通过统计样本的情况,去估计总体。下面是数学中常用到的术语:

      ·总体(Populantion)。通常它均值(mean)用 μ 表示。方差用  表示。

      ·样本(Sample)。通常它的均值用  表示,方差用  表示。(另外提一句,求时,通常用n-1为底。这样是想让结果跟接近总体的方差,又称为无偏估计。)
     

    二、矩估计

    1、是什么原点矩?

      原点矩这个术语是数学家定义出来的,用于计算方便。所以在"使用"这个level上,我们先不要纠结它怎么来的,为什么叫原点矩。

      来自wiki的定义:原点矩是一类随机变量的矩.随机变量的n阶原点矩定义为。

      根据定义,我们可知:

        一阶原点矩为 。

        二阶原点矩为 。

      这两个是我们比较常用的,应为我们要估计的参数个数一般不多于二(多于2就不好算了。)

    2、矩估计的原理

      ①样本与总体的原点矩是近似的。可以通过让它们相等来计算。

      ②对于连续型随机变量:期望  ; 方差  

      ③对于给予的样本:期望    ;  方差   ,切记这里的X1,X2...Xn都是已知的。

        ④对于各种随机变量x都有:。

    3、计算步骤

         S1: 根据题目给出的概率密度函数,计算总体的原点矩(如果只有一个参数只要计算一阶原点矩,如果有两个参数要计算一阶和二阶)。由于有参数这里得到的都是带有参数的式子。如果题目给的是某一个常见的分布,就直接列出相应的原点矩(E(x))。

         S2:   根据题目给出的样本。按照计算样本的原点矩。(计算方法在上文都有给出)

       S3:   让总体的原点矩与样本的原点矩相等,解出参数。所得结果即为参数的矩估计值。

    三、最大似然估计

    0、基础概念:概率密度函数。

      概率密度函数是描绘  随机变量 的函数。我们先讲讲随机变量。随机变量的“变量”这个词用得有点让人误解。跟一般我们理解的变量不同,它代表了某种映射关系(将随机过程映射到数字),所以我们一般用大写的X,Y,Z来表示。我们最好把随机变量当作函数来看。

      简单的讲,概率密度函数表示的就是随机变量X在某点的概率(所有点的概率和为1)。对于连续型的随机变量,其图像通常为一个连续的曲线,离散型的随机变量的图像一般是一个一个点组成。

    1、似然函数(LH)

      来自wiki的定义:似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性,但是在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。这里类似于“贝叶斯方法”的思路。   

     在估计中,我们已经取得一些样本数据(它们是独立,同分布)。它们发生的概率即为为,由于f(x)中有参数未知,所以我们得到的是一个关于参数的函数。我们把这个函数就当作似然函数。直观的讲,这些样本数据已经出现了,所以他们同时发生的概率(即似然函数)取最大值的时候最符合对事实的估计。

     通过使似然函数取最大值,就可以估算参数。

    2、计算步骤

      S1:   根据对应概率密度函数计算出似然函数L(x)= 。

      S2:  对似然函数L(x)取对数以方便求解。(由于对数函数是单调增函数,所以对似然函数取log后,与L(x)有相同的最大值点。)

      S3:  根据参数,对第二步所得的函数求导。如果有多个参数,则分别求偏导。

      S4: 令导数等于0(此时L(x)取到最大值).求出参数。此时所得结果即为参数的最大似然估计值。

     与矩法估计比较,最大似然估计的精确度较高,信息损失较少,但计算量较大。

    一、为什么要估计(estimate)

     在概率,统计学中,我们所要观测的数据往往是很大的,(比如统计全国身高情况)我们几乎不可能去统计如此之多的值。这时候,就需要用到估计了。我们先抽取样本,然后通过统计样本的情况,去估计总体。下面是数学中常用到的术语:

      ·总体(Populantion)。通常它均值(mean)用 μ 表示。方差用  表示。

      ·样本(Sample)。通常它的均值用  表示,方差用  表示。(另外提一句,求时,通常用n-1为底。这样是想让结果跟接近总体的方差,又称为无偏估计。)
     

    二、矩估计

    1、是什么原点矩?

      原点矩这个术语是数学家定义出来的,用于计算方便。所以在"使用"这个level上,我们先不要纠结它怎么来的,为什么叫原点矩。

      来自wiki的定义:原点矩是一类随机变量的矩.随机变量的n阶原点矩定义为。

      根据定义,我们可知:

        一阶原点矩为 。

        二阶原点矩为 。

      这两个是我们比较常用的,应为我们要估计的参数个数一般不多于二(多于2就不好算了。)

    2、矩估计的原理

      ①样本与总体的原点矩是近似的。可以通过让它们相等来计算。

      ②对于连续型随机变量:期望  ; 方差  

      ③对于给予的样本:期望    ;  方差   ,切记这里的X1,X2...Xn都是已知的。

        ④对于各种随机变量x都有:。

    3、计算步骤

         S1: 根据题目给出的概率密度函数,计算总体的原点矩(如果只有一个参数只要计算一阶原点矩,如果有两个参数要计算一阶和二阶)。由于有参数这里得到的都是带有参数的式子。如果题目给的是某一个常见的分布,就直接列出相应的原点矩(E(x))。

         S2:   根据题目给出的样本。按照计算样本的原点矩。(计算方法在上文都有给出)

       S3:   让总体的原点矩与样本的原点矩相等,解出参数。所得结果即为参数的矩估计值。

    三、最大似然估计

    0、基础概念:概率密度函数。

      概率密度函数是描绘  随机变量 的函数。我们先讲讲随机变量。随机变量的“变量”这个词用得有点让人误解。跟一般我们理解的变量不同,它代表了某种映射关系(将随机过程映射到数字),所以我们一般用大写的X,Y,Z来表示。我们最好把随机变量当作函数来看。

      简单的讲,概率密度函数表示的就是随机变量X在某点的概率(所有点的概率和为1)。对于连续型的随机变量,其图像通常为一个连续的曲线,离散型的随机变量的图像一般是一个一个点组成。

    1、似然函数(LH)

      来自wiki的定义:似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性,但是在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。这里类似于“贝叶斯方法”的思路。   

     在估计中,我们已经取得一些样本数据(它们是独立,同分布)。它们发生的概率即为为,由于f(x)中有参数未知,所以我们得到的是一个关于参数的函数。我们把这个函数就当作似然函数。直观的讲,这些样本数据已经出现了,所以他们同时发生的概率(即似然函数)取最大值的时候最符合对事实的估计。

     通过使似然函数取最大值,就可以估算参数。

    2、计算步骤

      S1:   根据对应概率密度函数计算出似然函数L(x)= 。

      S2:  对似然函数L(x)取对数以方便求解。(由于对数函数是单调增函数,所以对似然函数取log后,与L(x)有相同的最大值点。)

      S3:  根据参数,对第二步所得的函数求导。如果有多个参数,则分别求偏导。

      S4: 令导数等于0(此时L(x)取到最大值).求出参数。此时所得结果即为参数的最大似然估计值。

     

     

     与矩法估计比较,最大似然估计的精确度较高,信息损失较少,但计算量较大。

    展开全文
  • 极大似然估计

    2016-08-14 23:06:56
    极大似然估计 极大似然估计具体实践 极大似然估计实例 正太分布的极大似然估计贝叶斯公式P(A|D)=P(D|A)P(A)P(D)P(A|D)=\frac{P(D|A)P(A)}{P(D)} 给定某些样本D,在这些样本中计算某结论A1A_{1}、A2A_{2}…AnA_{n}...
  • 极大似然函数
  • 极大似然估计、最大后验估计,都是总体的分布类型已知前提下的一种参数估计方法,他们对分布的未知参数 θ\thetaθ 进行估计,进而确定总体分布。区别在于极大似然估计仅根据观测到的结果(样本值)进行估计,而最大...
  • 机器学习之极大似然估计详解

    千次阅读 多人点赞 2018-12-27 17:38:56
    极大似然估计在机器学习中很多模型都会用到,理解了极大似然估计对后面学习机器学习有很大帮助。 极大似然估计听着很高冷,光看名字就让需要数学不好的同学望而却步。其实说了就是根据统计结果,反推什么情况下最...
  • 文章福利:Python学习精选书籍10本 最大似然估计(Maximum Likelihood Estimation,MLE)是一个很成熟的估计模型参数的技术手段。...Maximum最大、极大,Likelihood看起来像,Maximum Likelihood就可以理解为:看...
  • 极大似然估计与EM算法理解 什么是极大似然估计(MLE)? ​ 极大似然估计是建立在极大似然原理上的一种参数估计方法。其目的是利用已知的样本结果,反推最有可能导致这样结果的参数值。 通俗地说,就是通过若干次试验...
  • 极大似然估计=极大+似然(可能性)+估计 极大似然估计的重要元素: 取对数 +求导 矩(xn的期望)估计:{对总体的均值与方差的估计:μ^=1n∑xi,σ^2=1n∑(xi−xˉ)2用参数表示矩后,由等式关系解出参数矩(x^n的期望)估计...
  • 1. 极大似然估计 2. 估计量的评价准则,无偏性 3. 有效性,均方误差 1. 极大似然估计 极(最)大似然估计的原理介绍 假设在一个罐中放着许多白球和黑球,并假定已经知道两种球的数目之比是1:3,但不知道哪种颜色的...
  • 最小二乘估计与极大似然估计联系 给定m个样本数据,(x(1),y(1)),(x(2),y(2)),(x(3),y(3))....(x(m),y(m))(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),(x^{(3)},y^{(3)})....(x^{(m)},y^{(m)})(x(1),y(1)),(x(2),y(2)),(x(3)...
  • 为此我们对函数求 μ 的偏导数,得到: 最后,设置等式的左边为零,然后以μ为未知数整理子,可以得到: 这样我们就得到了 μ 的最大似然估计。我们可以用同样的方法得到 σ 的最大似然估计,这留给有兴趣的读者...
  • 机器学习之从极大似然估计到最大熵原理以及EM算法详解
  • 文章目录似然函数极大似然估计实际应用最大似然估计与极大似然估计(MLE)常见的概率分布模型直观理解 似然函数   在概率论中,设f(x,θ)f(x,\theta)f(x,θ)为总体分布,其中θ\thetaθ为概率分布模型的参数且在...
  • 但要注意的是,由于对数似然函数的导数的复杂性,极大似然估计并不是在所有情形下都能够得到问题的解。因此,可以使用期望最大化算法等迭代方法来寻找参数估计的数值解。不过总体思路还是一样的。 参考 [1] ...
  • 极大似然估计(maximum likelihood estimation,MLE),顾名思义,就是“看起来最有可能的估计”。比如说,我们看到一个黑人,会猜测他来自非洲或者美洲,这就是基于自己的经验得到的“最像”事实的推断。极大似然...
  • 导读:极大似然估计(MLE) 是统计机器学习中最基本的概念,但是能真正全面深入地理解它的性质和背后和其他基本理论的关系不是件容易的事情。极大似然估计和以下概念都有着紧密的联系:随机变量,无...
  • 机器学习中的极大似然估计 极大似然估计 顾名思义,就是通过最大的可能性估计出最有可能的参数值。 举个例子,你想要的知道学校的男生和女生的身高分布。你该怎么做呢?首先假设全校同学的身高分布是符合正态分布的...
  • 正态分布均值的极大似然估计

    万次阅读 多人点赞 2019-04-04 16:09:53
    正态分布均值的极大似然估计

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,731
精华内容 1,092
关键字:

总体方差的极大似然估计式