精华内容
下载资源
问答
  • 这里“二乘”指的是用平方来度量观测点与估计远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计距离平方和达到最小 θ表示要求的参数,Yi为观测值(向量),...

    最小二乘法

    基本思想

    简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小

      θ表示要求的参数,Yi为观测值(向量),f(xi|θ)为理论值。

    最小二乘的作用

    用于得到回归方程的参数的一个最优估值。在统计学上,该估值可以很好的拟合训练样本。并且对于新的输入样本,当有了参数估值后,带入公式可以得到输入样本的输出。

    如何求解最小二乘

    多元函数求极值的方法,对θ求偏导,让偏导等于0,求出θ值。当θ为向量时,需要对各个θi求偏导计算。
     

    极大似然估计

    基本思想

    当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

    似然函数

     

    对数似然函数

     当样本为独立同分布时,似然函数可简写为L(α)=Πp(xi;α),牵涉到乘法不好往下处理,于是对其取对数研究,得到对数似然函数l(α)=ln L(α)=Σln p(xi;α) 

    求解极大似然

    同样使用多元函数求极值的方法。
     

    最小二乘与极大似然的区别

     

    转 http://www.fuzihao.org/blog/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5%AF%B9%E8%AF%AF%E5%B7%AE%E7%9A%84%E4%BC%B0%E8%AE%A1%E8%A6%81%E7%94%A8%E5%B9%B3%E6%96%B9/

     

    为什么最小二乘法对误差的估计要用平方?

    转载于:https://www.cnblogs.com/diegodu/p/5725139.html

    展开全文
  • 极大似然估计是一种参数估计的方法。先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。即它的核心思想是:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。例如,当其他条件...

    极大似然估计是一种参数估计的方法。
    先验概率是 知因求果,后验概率是 知果求因,极大似然是 知果求最可能的原因。
    即它的核心思想是:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。

    例如,当其他条件一样时,抽烟者患肺癌的概率是不抽烟者的 5 倍,那么当我们已知现在有个人是肺癌患者,问这个人是抽烟还是不抽烟?大多数人都会选择抽烟,因为这个答案是“最有可能”得到“肺癌”这样的结果。


    为什么要有参数估计

    当模型已定,但是参数未知时。
    例如我们知道全国人民的身高服从正态分布,这样就可以通过采样,观察其结果,然后再用样本数据的结果推出正态分布的均值与方差的大概率值,就可以得到全国人民的身高分布的函数。


    为什么要使似然函数取最大

    极大似然估计是频率学派最经典的方法之一,认为真实发生的结果的概率应该是最大的,那么相应的参数,也应该是能让这个状态发生的概率最大的参数。


    极大似然估计的计算过程

    1. 写出似然函数

    其中 x1,x2,⋯,xn 为样本,θ 为要估计的参数。

    2, 一般对似然函数取对数

    因为 f(xi|θ) 一般比较小,n 比较大,连乘容易造成浮点运算下溢。求出使得对数似然函数取最大值的参数的值

    3, 

    1. 求出使得对数似然函数取最大值的参数的值
      对对数似然函数求导,令导数为0,得出似然方程,
      求解似然方程,得到的参数就是对概率模型中参数值的极大似然估计。


    例子

    假如一个罐子里有黑白两种颜色的球,数目和比例都不知道。
    假设进行一百次有放回地随机采样,每次取一个球,有七十次是白球。
    问题是要求得罐中白球和黑球的比例?

    假设罐中白球的比例是 p,那么黑球的比例就是 1−p。
    那么似然函数:




    接下来对似然函数对数化:




    然后求似然方程:



    最后求得 p=0.7




    展开全文
  • 机器学习中,线性回归算法...2.似然估计的思想是 3.如何求解最大似然估计 三.最小二乘法和最大似然估计的联系和区别 一.最小二乘法 对于最小二乘法,当从模型总体随机抽取n组样本观测值后,最合理的参数应该使得模...

    机器学习中,线性回归算法用到最小二乘法,逻辑回归算法用到最大似然估计,在推导梯度的过程中,发现结果一样,这是为何呢?

    一.最小二乘法

    对于最小二乘法,当从模型总体随机抽取n组样本观测值后,最合理的参数应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。

    1.基本思想

    在这里插入图片描述
    θ表示要求的参数,h(x)为观测值,y为理论值。

    2.作用

    用于得到回归方程的参数的一个最优估值。在统计学上,该估值可以很好的拟合训练样本。并且对于新的输入样本,当有了参数估值后,带入公式可以得到输入样本的输出。

    3.如何求解最小二乘法

    多元函数求极值的方法,对θ求偏导,让偏导等于0,求出θ值。当θ为向量时,需要对各个θi求偏导计算。

    二.最大似然估计

    对于最大似然法,当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。

    1.概念

    在这里插入图片描述
    最大似然估计就是通过求解最大的上面的式子得到可能性最大的θ,其中 L 函数称为参数θ的似然函数,是一个概率分布函数。

    2.似然估计的思想是

    测量值 X 是服从概率分布的,求概率模型中的参数,使得在假设的分布下获得该组测量出现概率最大。

    3.如何求解最大似然估计

    多元函数求极值的方法,对θ求偏导,让偏导等于0,求出θ值。当θ为向量时,需要对各个θi求偏导计算。

    三.最小二乘法和最大似然估计的联系和区别

    在回归算法中,用最小二乘法和最大似然估计求解损失函数时,最大似然法中,通过选择参数,使已知数据在某种意义下最有可能出现,而某种意义通常指似然函数最大,而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是,最大似然法需要已知这个概率分布函数,这在实践中是很困难的。一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计和最小二乘估计相同。
    在这里插入图片描述
    最小二乘法以估计值与观测值的差的平方和作为损失函数,极大似然法则是以最大化目标值的似然概率函数为目标函数。

    展开全文
  • 冒泡~新的一周辣~温故而知新一下极大似然估计(真是很不容易了)极大似然估计的基本思想什么是极大似然?官方上的较清楚的解释:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型...

    冒泡~是新的一周辣~温故而知新一下极大似然估计(真是很不容易了)

    极大似然估计的基本思想

    什么是极大似然?官方上的较清楚的解释是:利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。

    从字面上的意思看,可以这样理解,极大---最大概率,似然---看起来像这个样子,估计---预计是这个样子,也就可以通俗的说,最大的概率看起来是这个样子的那就是这个样子的。

    通过一个图片直观解释:

    原理:极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

    极大似然估计的求解

    先来举一个简单的离散状态下的例子

    离散的小球问题:

    箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p为0.8或者0.2,拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

    分析:此处从数学上来讲,想要准确的求出拿到白球的概率是不可能的,所以此处求的是概率的极大似然估计。而这里的有放回的拿取,是高中数学中经典的独立重复事件,可以很简单的分别求出白球概率为0.8和0.2的时候拿三次都不是白球的概率。

    解:

    若拿到白球的概率为0.8,拿三次都不是白球的概率为:P_0.8=0.2*0.2*0.2=0.008

    若拿到白球的概率为0.2,拿三次都不是白球的概率为:P_0.2=0.8*0.8*0.7=0.512

    P_0.2>P_0.8,可知当前情况下白球概率为0.2的概率大于白球概率为0.8

    综上所述:拿到白球的概率的极大似然估计为0.2

    接下来举个离散的情况例子:

    连续的小球问题:

    箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p的范围是[0.3,0.7],拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

    解:记拿到白球的概率为p,取白球的事件为Y,取到时Y=1,未取到时Y=0,小球颜色不是白色的事件Y重复3次的概率为:P(Y=0;p)=(1-p)^3

    欲求p的极大似然估计,即要求P(Y=0;p)的极大值:令Q(p)=(1-p)^3

    Q'(p)=-3*(1-p)^2  令Q'(p)=0

    求得Q的极值点为p=1,且当p<1时,Q'(p)<0,p>1时,Q'(p)<0,可知Q(p)为单调减函数

    可知0.3<=p<=1的条件下,p=0.3时,Q(p)取得最大值。

    综上所述:小球概率的极大似然估计为0.3

    经过整两个例子大概可以简单的理解了怎么求极大似然估计了,接下来就引入似然函数的概念去更系统的求解。

    重点来啦~

    对数函数的引入

    在似然函数满足连续、可微的正则条件下,极大似然估计量是下面微分方程的解:

    举个栗子:

    题目来源:https://blog.csdn.net/pipisorry/article/details/51461997?utm_source=blogxgwz0                                (图片的编辑注释为本人)

    (补充验证 后面会做具体说明)

    高级一点的栗子:

    总结  求最大似然估计量的一般步骤:

    (1)写出似然函数; (2)对似然函数取对数,并整理;

    (3)求导数; (4)解似然方程。

    Matlab中mle函数求极大似然估计

    MLE(maximum likelihood estimation,最大似然估计),的基本原理是通过选择参数使似然函数最大化。

    举例:

    题目来源:https://wenku.baidu.com/view/85204009b90d6c85ec3ac66c.html

    matlab代码求解

    首先这是一个二项分布,置信度默认为95%

    输出结果为:

    这和计算出来的是相符合的。

    finally~知识的遗忘太艰难了吧!

    展开全文
  • 最大似然估计

    2016-01-06 23:41:43
    最大似然估计的基本思想是通过总体的样本来估计参数,获得一组样本,该组样本值出现的概率是每个值出现的概率的乘积,因为每次采样之间是相互独立的。我们通过随机抽样获取了该组样本,那么完全可以认为该组样本出现...
  • 极大似然估计

    2014-06-21 16:19:39
    极大似然估计,顾名思义一种估计方法。既然一种估计方法,我们至少必须搞清楚几个问题:估计什么?需要什么前提或假设?...这一方法基于这样的思想:我们所估计的模型参数,要使得产生这个给定样本的可能性最大
  • 极大似然思想原理

    千次阅读 2015-08-14 19:39:00
    极大似然估计,顾名思义一种估计方法。既然一种估计方法,我们至少必须搞清楚几个问题:估计什么?需要什么前提或假设?...这一方法基于这样的思想:我们所估计的模型参数,要使得产生这个给定样本的可能性最大
  • 交叉验证的基本思想是,如果此时的是一个好的参数,则应该是的一个好的估计,因此定义了如下的CV函数: 从而,的最佳估计是. 注意:如果X是对角矩阵,则CV方法是不适用的,所以如果考虑的X是单位矩阵,就不能用...

空空如也

空空如也

1 2 3 4 5 ... 9
收藏数 161
精华内容 64
关键字:

参数估计的基本思想是什么