精华内容
下载资源
问答
  • 参数估计方法

    千次阅读 2019-11-07 20:58:21
    参数估计有多种方法,下面简单和大家分享以下两种: 一、最大似然估计 原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。 二、最小二乘法 当从...

    参数估计有多种方法,下面简单和大家分享以下两种:

    一、最大似然估计

    原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。

    二、最小二乘法

    当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。

    三、两者联系

    一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计和最小二乘估计是等价的,也就是说估计结果是相同的,但是原理是不同的。最小二乘法以估计值与观测值的差的平方和作为损失函数,极大似然法则是以最大化目标值的似然概率函数为目标函数。

    四、总结

    最小二乘法的核心是权衡,因为你要在很多条线中间选择,选择出距离所有点之后最短的,而极大似然核心是自恋,要相信自己是天选之子,自己看到的,就是冥冥之中最接近真相的。当服从正态分布时,两都的结论相等。

    个人见解,欢迎批评指正!

    ————————————————
    版权声明:本文为CSDN博主「玲[逆流而上]」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_45734454/article/details/102961112

    展开全文
  • 1. 逻辑斯谛回归模型定义在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都对逻辑斯谛回归模型的介绍,然而二者却对模型有着不同的定义。1.1 决策函数Andrew NG 课程中,对二项逻辑回归模型的决策...

    逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于判别模型。

    #1. 逻辑斯谛回归模型定义

    在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都有对逻辑斯谛回归模型的介绍,然而二者却对模型有着不同的定义。

    ##1.1 决策函数
    Andrew NG 课程中,对二项逻辑回归模型的决策函数如下:

    h θ ( x ) = g ( θ T x ) h_\theta(x)=g(\theta^Tx) hθ(x)=g(θTx)

    g ( z ) g(z) g(z) 为Sigmoid函数:
    y = g ( z ) = 1 1 + e − z y=g(z)= \frac {1}{1+e^{-z}} y=g(z)=1+ez1.
    其中 θ \theta θ 为参数. 当 z ≥ 0 z \geq 0 z0 时, 0.5 ≤ y &lt; 1 0.5 \leq y &lt; 1 0.5y<1; 当 z &lt; 0 z&lt; 0 z<0 时, 0 &lt; y &lt; 0.5 0 &lt; y &lt; 0.5 0<y<0.5.

    h θ ( x ) h_\theta(x) hθ(x) 的取值代表 y = 1 y=1 y=1 的可能性的大小,若 h h h 大于0.5,那么就取1,如果小于0.5就取0.

    ##1.2 条件概率分布
    统计学习方法中,二项逻辑回归模型是如下函数定义的条件概率分布:

    KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ P(Y=1|x)=&\fra…

    这里, x ∈ R n x\in \mathbb{R}^n xRn 是输入, Y ∈ { 0 , 1 } Y\in \{0,1\} Y{0,1} 是输出, w ∈ R n w\in \mathbb{R}^n wRn 是参数, 称为权值向量, b b b 称为偏置, w ⋅ x w\cdot x wx w w w x x x 的内积. 比较两个条件概率值的大小,将实例 x x x 分到概率值较大的那一类.

    #2. 模型参数估计

    由于定义的模型存在差异,因此二者的参数估计的思路也不同。

    ##2.1 误差之和极小化
    Andrew NG 课程中对误差之和的计算方法如下:

    J ( θ ) = 1 m ∑ i = 1 m C o s t ( h θ ( x ( i ) ) , y ( i ) ) C o s t ( h θ ( x ) , y ) = { − l o g ( h θ ( x ) ) i f y = 1 − l o g ( 1 − h θ ( x ) ) i f y = 0 \begin{aligned} &amp;J(\theta)=\frac{1}{m} \sum\limits_{i=1}^m Cost(h_\theta(x^{(i)}),y^{(i)}) \\ &amp;Cost(h_\theta(x),y)= \begin{cases} -log(h_\theta(x)) \quad if\quad y=1 \\ -log(1-h_\theta(x)) \quad if\quad y=0 \end{cases} \end{aligned} J(θ)=m1i=1mCost(hθ(x(i)),y(i))Cost(hθ(x),y)={log(hθ(x))ify=1log(1hθ(x))ify=0

    Cost函数通过极大似然估计得来,之所以不用原来线性回归的误差公式,是因为Sigmoid函数的存在会使J函数最终的结果不是凸函数,存在多个极值点。

    Cost函数的图像如下:

    Cost函数可统一成以下形式:
    C o s t ( h θ ( x ) , y ) = − y l o g ( h θ ( x ) ) − ( 1 − y ) l o g ( 1 − h θ ( x ) ) Cost(h_\theta(x),y)=-y log(h_\theta(x)) - (1-y)log(1-h_\theta(x)) Cost(hθ(x),y)=ylog(hθ(x))(1y)log(1hθ(x))

    最终的误差函数如下:

    J ( θ ) = 1 m ∑ i = 1 m C o s t ( h θ ( x ( i ) ) , y ( i ) ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] \begin{aligned} J(\theta)&amp;=\frac{1}{m}\sum\limits_{i=1}^m Cost(h_\theta(x^{(i)}),y^{(i)}) \\ &amp;=-\frac{1}{m}[\sum\limits_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) +(1-y^{(i)})log(1-h_\theta(x^{(i)}))] \end{aligned} J(θ)=m1i=1mCost(hθ(x(i)),y(i))=m1[i=1my(i)log(hθ(x(i)))+(1y(i))log(1hθ(x(i)))]

    求解误差函数的极小值,即可得到 θ \theta θ 的估计值.

    ##2.2 似然函数极大化
    P ( Y = 1 ∣ x ) = π ( x ) , P ( Y = 0 ∣ x ) = 1 − π ( x ) P(Y=1|x)=\pi (x), P(Y=0|x)=1-\pi (x) P(Y=1x)=π(x),P(Y=0x)=1π(x) ,似然函数为:

    ∏ i = 1 N [ π ( x i ) ] y i [ 1 − π ( x i ) ] 1 − y i \prod_{i=1}^{N}\big[\pi(x_i)\big]^{y_i}\big[1-\pi(x_i)\big]^{1-y_i} i=1N[π(xi)]yi[1π(xi)]1yi

    对数似然函数为:

    KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ L(w) = &\sum_{…

    L ( w ) L(w) L(w) 求极大值,即可得到 w w w 的估计值。

    ##2.3 两种思路的分析比较
    根据以上分析可见,虽然 Andrew NG 和 李航 分别定义了不同形式的逻辑斯谛回归模型,并且采用了不同的思路进行进行参数估计,但是最终二者的目标函数却完全等价。导致这个结果的根本原因在于二者都采用了极大似然估计法来进行参数估计,都是经验风险最小化原则在统计学习的应用。

    #3. 目标函数极值求解方法

    常用梯度下降法或拟牛顿法来估计数值解。
    下面以求极大似然函数极大值为例来说明算法步骤。

    对数似然函数为:

    L ( w ) = ∑ i = 1 N [ y i ( w ⋅ x ) − ln ⁡ ( 1 + e x p ( w ⋅ x ) ) ] L(w) = \sum_{i=1}^{N}\big[ y_i(w\cdot x)- \ln (1+exp(w\cdot x)) \big] L(w)=i=1N[yi(wx)ln(1+exp(wx))]
    其梯度为:

    KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{\partial…

    值得一提的是,这里得出的梯度和线性回归中的梯度完全相同!

    算法如下:

    KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &repeat \{ \…

    展开全文
  • 根据前篇文章我们知道,贝叶斯分类器设计时,需要知道先验...因此,我们需要从已知的有限的样本中,尽可能地估计出类条件概率密度函数的参数,来方便我们设计分类器。换句话说,我们直接从样本出发,已知类概率密...

    根据前篇文章我们知道,贝叶斯分类器设计时,需要知道先验概率 和类概率密度函数 ,然后再按照最小错误率或者最小风险标准进行决策。

    但是,在实际的工程应用中,类概率密度函数往往是未可知的。即使把类概率密度函数近似为正态分布函数,其分布的均值和方差也是未知的。

    因此,我们需要从已知的有限的样本中,尽可能地估计出类条件概率密度函数的参数,来方便我们设计分类器。换句话说,我们直接从样本出发,已知类概率密度函数的形式,但是类条件概率密度函数的参数未知,依然能够设计出分类器。

    根据待分类数据的随机性,可以将这种参数估计的方法分为两类,即最大似然估计和贝叶斯估计。后者认为,待估计参数是完全随机、测不准的。而前者认为参数是固定的。

     

    最大似然估计

    已知:

           样本集$D= \{ x_1,x_2,...,x_n \} $,且每类样本都是从类条件概率密度函数P(X|\omega_ic)的总体中独立抽取出来的。

    求解目标:

          $\theta = arg max P(\theta|D) $

    对目标进行简化:

    P(\theta|D)=\frac{P(D|\theta)P(\theta)}{P(D)} $

    在最大似然估计中,认为θ 是确定的,即P(θ), 是一个常数。而P(D)是根据已有的数据得到,也是确定的。因此:

    $\theta = arg max P(D|\theta) $

    构造函数

    $l(\theta)=P(D|\theta)=P(x_1,x_2,...,x_n|\theta)=\prod\limits_{i=1}^{n}P(x_i|\theta) $

    $H(\theta)=ln(ln(l(\theta)))=ln \prod\limits_{i=1}^{n}P(x_i|\theta)=\sum\limits_{i=1}^{n}ln(P(x_i|\theta)) $

    $\widehat{\theta}=argmaxl(\theta) $ 或者$\widehat{\theta}=argmaxH(\theta) $

     

    贝叶斯估计与最大似然估计的不同之处在于,不认为θ是确定的常数,而认为θ是随机变量。

           这样一来

    P(\theta|D)=\frac{P(D|\theta)P(\theta)}{\int_\theta P(D|\theta)P(\theta)d\theta}=\frac {\prod \limits_{i=1}^n P(x_i|\theta)P(\theta)}{\int_\theta\prod \limits_{i=1}^n P(x_i|\theta)P(\theta)d\theta}=\alpha\prod\limits_{i=1}^n P(x_i|\theta)P(\theta)

    其中α 是无关量,则

    $\widehat{\theta}=\int_\theta \theta P(\tehta|D)d\theta $

     

     

    可以看出:

           最大似然估计和贝叶斯估计的不同之处在于:

            (1)前者认为待估参数是确定的。而后者认为待估参数是随机的。

            (2)有(1)造成了对目标进行简化时的不同,即对P(θ) 的处理方式不同。

            (3)对估计量 的计算方式不同。

     

    展开全文
  • 参数估计

    千次阅读 2018-10-10 23:31:28
    一、参数估计内容 1.参数估计的requisites   我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理...

    前言

      学了很久的数理统计,总觉得知识在脑海中没有一个清晰的轮廓,虽然也可以自己通过纸和笔整理,但是,也想要通过新的方式,用文字的方式输出,这一想法已经在我脑海里盘旋了好久了,终于在今天开始落实。

    一、参数估计内容

    1.参数估计的requisites

      我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理有一些了解,最好还要知道三大抽样分布的性质。

    但是还是简单提一下统计量的概念吧:统计量是从样本中得到的,是样本的函数,统计量不含有任何未知参数。

    2.参数估计的目的

      我们在统计中,总是想要通过样本去推断总体的性质,而引进统计量,就是对样本进行描述的过程。实际中,我们感兴趣的问题总是与总体分布中的未知参数有关系,所以,我们要对参数进行估计和检验。
    这里的参数是指:

    • 分布中的未知参数和未知参数的函数
    • 分布的各种特征函数

    3.参数估计的类型和使用

    在此之间,我们必须要明确一点,估计是一个方法,不是一个具体算出来的值;只是,在给定样本以后,用这种估计的方法,可以算出数值。

    3.1 点估计

      点估计,顾名思义是对某个未知参数的值的估计,就像是数轴上的一个点。因此我们的目的也就是找到一个未知参数的好的估计量。
      知道点估计的含义以后,我们先来看看常用的找估计量的方法:

    • 矩估计
    • 最大似然估计
    • 最小方差无偏估计
    • 贝叶斯估计

    3.1.1 矩估计

      矩估计的基本原理就是:替换原理通过样本的矩替换总体的矩,用样本矩的函数替换总体矩的函数。
      这么做的好处是:在总体分布函数未知的情况下,通过样本的特征数可以对各种参数进行估计。
      矩估计的实质是:用样本的经验分布函数去替换总体的分布,理论基础是格里纹科定理。
      具体的操作就是:

    1. 假设已知总体的概率密度函数,但其中的参数未知,通过这个带有未知参数的密度函数去求总体的各阶矩;
    2. 利用样本的数据,求各阶矩;
    3. 通过总体各阶矩和样本各阶矩相等,构造方程组,解出参数。

    3.1.2 最大似然估计(MLE)

      最大似然估计,也可以叫做极大似然估计,从字面理解非常到位就是,找到一个未知参数的估计,使得在这个估计的条件下,由总体概率密度函数推算的分布下,样本发生的可能性最大。即是,最大的像这样的估计。
    具体操作就是:

    1. 将未知参数的估计设为x,带入总体密度函数。
    2. 建立在样本的独立性的条件下,根据样本求出样本取得当下值的概率。
    3. 通过分析计算出使得概率达到最大的x,就是未知参数的极大似然估计。
      最大似然估计具有不变性。

    3.1.3 最小方差无偏估计

      首先引进均方误差(MSE)的概念,均方误差是用于衡量点估计好坏的一种标准,关于衡量点估计好坏的标准在后文还会详细介绍,这里为了需要,先简单提一下。首先明确一点,均方误差是对点估计进行的计算。具体的计算公式是,参数估计值与真实值之差的平方的期望,通过分解,也等于估计值的方差加估计值的期望与真实值之差的平方。
      一致最小均方误差估计,是需要在一个确定的估计类里,找到均方误差相对最小的那个。但由于是在估计类里找,如果不对估计加任何限制,则一致最小均方误差估计是不存在的,所以没有意义。
      最小方差无偏估计,这里是指一致最小方差无偏估计,就是对于一个参数的无偏估计而言,最小的均方误差就意味着最小的方差。对于参数空间中的任何无偏估计,具有最小方差的那个估计就称作是一致最小方差无偏估计(UMVUE)
    实际上,用于判断是否是UMVUE,可以通过一个定理方便地得到:未知参数的UMVUE必然与任一零的无偏估计不相关。也就是说,现在还有一个其他的随机变量X,均值是零,那么这个未知参数的UMVUE与这个随机变量X的相关系数(Cov)为零。

    3.1.4 贝叶斯估计

      前面介绍的三种办法是频率学派的理论,而贝叶斯估计是贝叶斯学派的观点。
      贝叶斯估计是建立在已经有关于参数的分布的信息的基础上,叫做先验信息,然后进行样本观测,推算后验分布。也可以理解为,用总体和样本对先验分布做出调整。
      具体做法是:

    1. 在参数未知的条件下,确定总体的分布
    2. 根据参数的先验信息确定先验分布 π(θ)
    3. 求出在通过先验分布得到的未知参数后,样本的联合分布 p(X|θ)
    4. 确定样本和未知参数的联合分布,也就是2.与3.得到的分布函数之积 h(X,θ)=p(X|θ)π(θ)。
    5. 对参数θ的贝叶斯推断,π(θ|X)= h(X,θ)/m(X),其中m(X) 是从h(X,θ)中对θ整个参数空间积分得到的,X的边际概率函数。

    3.2 点估计好坏的评价标准

      前面已经提到点估计的目的是找到未知参数的好的估计量,那么到底怎么定义“好”,也是我们需要关心的。在点估计中,有如下标准衡量:

    • 无偏性
    • 有效性
    • 相合性
    • 均方误差
    • 充分性原则
    • 有效估计

      我刚学参数估计的时候,脑子里总是记不住这些性质到底在描述什么QAQ
      好吧,其实现在也记不住,我也必须翻一下笔记了…

    • 无偏性
        无偏性是描述经过重复抽样以后,所有对这个未知参数的估计值的平均等于真实的参数值。具体判断也就是计算这个估计的均值,看它是否等于真实值。关于无偏性还有一些性质,最好能够记住:
      1. 样本的k阶中心距通常不是总体k阶中心矩的无偏估计
      2. 无偏性不具有不变性,也就是无偏估计的函数不一定是无偏估计
          无偏估计还有渐近无偏估计,就是当样本量趋近于无穷时,均值的极限趋近于真实值。也是用于衡量一个估计是一个好的估计的准则。
    • 有效性
        有效性是建立在两个无偏估计的基础上,比较两个无偏估计的方差,方差小的更有效。
    • 相合性
        与渐近无偏性从期望的极限角度理解不同,相合性是从概率的角度,即未知参数的估计,在样本量趋近于无穷大的时候,估计量依概率收敛到未知参数。也即是说,当样本量增大的时候,被估计的参数能够被估计到任意指定的精度。判断相合性,我们采用验证它的充分条件:
      1. 渐进无偏性
      2. 方差收敛到0
          由大数定理知道,矩估计一般都是相合的
    • 均方误差
        MSE,是通过计算参数估计值与真实值之差的平方的期望,其大小能够反映估计的好坏,在同一估计类里越小越好。
    • 充分性原则
        首先,要注意充分性原则和充分性是两个不同的东西!充分性是描述统计量不丢失关于样本的任何信息,则称这个统计量为充分统计量。那么,充分性原则和充分性一点关系都没有吗?也不是的。在比较两个无偏估计的好坏的时候,较好的那个无偏估计总是样本的充分统计量;并且,将不是样本充分统计量的统计量,关于充分统计量求期望,得到的估计,一定是充分统计量,并且新的估计的方差也得到了降低。
        换句话说,对于所有的统计推断问题,考虑未知参数的估计问题,只需要在基于充分统计量的函数中进行即可,这就是充分性原则。
        你可能还在想,怎么将不是样本充分统计量的统计量关于一个充分统计量求期望?利用随机过程讲义的第一章的内容,利用条件概率公式,连续函数求积分,离散函数求∑。
    • 有效估计
        有效估计是一个估计,它的方差达到了Cramer-Rao方程的下界,有效估计一定是UMVUE哈。具体计算来判断是否是有效估计的话:
      1. 根据总体密度函数(含参数)检验满足C-R方程的条件;
      2. 求费希尔信息量,找到C-R下界;
      3. 对无偏估计求方差,检验是否等于C-R下界。

    3.3 区间估计

      之前我们讨论的都是点估计,但是关于统计量的精度我们无法定量的回答,必须通过它们的分布来反映。在实际中,度量点估计精度直观方法就是给出未知参数的一个区间,这就是区间估计。
      区间估计是想要找到两个统计量,构成一个区间,这个区间盖住未知参数真值的可能性不确定,但是人们总是希望在尽可能小的区间下,区间盖住真值的可能性越大越好,由此得到置信区间的定义:
      置信区间,是一个有样本值得到的随机区间,未知参数真值落在这个随机区间中的概率大于等于1-a,或者理解为,未知参数真值不落在这个随机区间中的概率小于置信度,满足这个条件的随机区间称作置信区间。首先,置信水平是随机区间盖住真值的概率,置信水平等于置信度,然后,我自己理解置信度是这样的:当大量重复实验,用置信区间的计算方法,得到很多个N个随机区间的时候,有(N* 置信水平)的那么多个区间,包括了均值。
      那具体怎么做区间估计呢?我们通过构造区间估计的方法,使用最基本的枢轴量法:

    1. 什么是枢轴量?
        枢轴量是样本和未知参数的函数,它具有的性质是其分布不依赖与未知参数,或者说,它的概率密度函数与参数无关。
    2. 枢轴量有什么用?
        在参数未知的时候,没有办法直接凭空从置信水平找到随机区间的上下限,所以采用枢轴量的分布函数,以此为媒介,根据置信水平,先算出枢轴量的置信区间,再反解出上下限。
    3. 枢轴量怎么用?
        其实2.已经解答过了,从未知参数的好的点估计(MLE)出发,用它的性质和密度函数构造。根据置信水平,通常采用等尾置信区间保证区间长度最短,先算出枢轴量的置信区间,再反解出上下限。
    4. 有什么特别的检验的构造套路吗?
        老师教过的有:
      • 单个正态总体参数:分为均值、方差是否已知,对均值和方差分别都有不同的枢轴量
      • 大样本置信区间:原理是中心极限定理,在样本方差已知的时候,很ok;在样本方差未知的时候,中心极限定理的分布可以将方差换成它的相合估计。注意哦,大样本运用中心极限定理,最多只有样本的方差的相合估计代替方差,不可以用均值的无偏估计代替总体均值位置上的μ的!
      • 两独立正态总体下均值之差和方差之比的置信区间:类似于单个正态总体,在估计均值的时候,要看方差是否已知,或者方差成比例;在估计方差之比的时候,直接就有枢轴量,不需要讨论均值是否已知。

      除了这些,均匀分布的总体还有一些特别的构造方法,课后题和期中考试卷子也有涉及,供自己参考~
      注:区间估计构造枢轴量的时候,大量用到前面一章节的统计量及其分布、以及三大抽样分布的基础。

    二、整体学习思路

      参数的点估计—>穿插如何评价点估计的好坏—>参数的区间估计
      建议的学习思路:点估计—>评价点估计的好坏—>参数估计,感觉独立开会更清晰一些~

    三、声明

      全文都是我个人的学习笔记,肯定有出现错误欢迎指正。

    展开全文
  • 什么是参数估计

    千次阅读 2020-10-20 20:06:51
    参数估计(parameter estimation) 参数估计属于统计推断的范畴,是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。 统计推断是数理统计研究的核心问题,是指根据样本对总体分布或分布的数字特征等作出...
  • 参数估计与非参数估计

    千次阅读 2017-10-12 15:48:45
    参数估计要求明确参数服从什么分布,明确模型的具体形式,然后给出参数的估计值。根据从总体中抽取的样本估计总体分布中包含的未知参数。非参数估计对解释变量的分布状况与模型的具体形式不做具体规定 ,运用核密度...
  • 参数估计(点估计和区间估计)

    万次阅读 多人点赞 2019-09-06 12:07:06
    1.点估计就是用样本统计量来估计总体参数。 概念理解:当我们想知道某一总体的某个指标的情况时,测量整体该指标的数值 的工作量太大,或者不符合实际,这时我们可以采用抽样的方法选取一部分样本测量出他们数值,...
  • 回归分析之参数估计

    千次阅读 2019-10-11 16:06:59
    它是统计推断的一基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分。 点估计:依据样本估计总体分布中所含的未知参数或未知参数的函数。 区间估计(置信区间的估计):依据抽取的样本,根据一定...
  • 参数估计:点估计和区间估计

    千次阅读 2020-02-28 10:49:49
    根据参数估计的性质不同,可以分成两种类型:点估计和区间估计。 点估计 点估计就是用样本统计量的某一具体数值直接推断未知的总体参数。例如,在进行有关小学生身高的研究中,随机抽取1000名小学生并计算出他们的...
  • 参数估计有点估计(point estimation)和区间估计(interval estimation)两种。 点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值,如数学期望、方差和相关系数等。点...
  • 推断统计:参数估计和假设检验

    千次阅读 多人点赞 2020-03-03 00:35:24
    目录 ...  3、参数估计(点估计和区间估计)    1)参数估计、点估计和区间统计的概念    2)点估计说明    3)区间估计说明   4、中心极限定理    1)中心极限定理的概念    2...
  • 参数估计参数估计中,我们会遇到个主要问题:(1)如何去估计参数的value。(2)估计出参数的value之后,如何去计算新的observation的概率,即进行回归分析和预测。首先定义一些符号:数据集X中
  • 浅谈参数估计

    千次阅读 2019-09-03 09:38:34
    参数估计是推断统计的重要内容之一,它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数. 估计量 如果能够掌握总体的全部数据,那么只需要作一些简单的统计描述,就可以得到所关心的总体特征,比如,...
  • 参数估计:贝叶斯思想和贝叶斯参数估计

    万次阅读 多人点赞 2016-05-23 10:54:29
    http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想 长久以来,人们对一件事情发生或不发生,只有固定的0和1,即要么...比如如果问那时的人们一个问题:“一个袋子,里面装着
  • 线性参数估计方法之比较

    千次阅读 2014-09-11 17:54:13
    这里参与比较的线性参数估计算法LS、WLS、Ransac LS、LMedS(其实Ransac的使用并不局限于线性模型,LMedS的思想也可以扩展到非线性模型)。由于已经大量的文献从数学理论上对这些算法做了分析,所以此处只是用...
  • 参数估计:最大似然估计MLE

    万次阅读 多人点赞 2016-05-21 16:57:50
    http://blog.csdn.net/pipisorry/article/details/51461997最大似然...最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做相乘因为它们之间是独立同分布的。由于连乘运算,通常对似然
  • 概率论 参数估计与假设检验 区分及例子动机区分概念假设检验基本思想小概率原理原理几常见假设检验假设检验规则和类错误检验规则类错误明确步骤 动机 国内本科教材重计算技巧,轻内在逻辑,大家学完容易忘记。...
  • 常见的参数估计

    千次阅读 2015-04-29 09:29:15
    参数估计有点估计(point estimation)和区间估计(interval estimation)两种。 点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值,如数学期望、方差和相关系数等。点...
  • 我们观测世界,得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们一个一般性的操作步骤 1. 观测样本的存在2. 每个样本之间是独立的3. 所有样本符合一个概率模型 我们最终想要...
  • 我们最终想要得到的是一个概率密度的模型,如果我们已经对观测的对象了一些认识,对观测的现象属于那种类型的概率密度分布已经了解,只是需要确定其中的参数而已,这种情况就是属于参数估...
  • python实现参数估计

    千次阅读 2019-12-23 00:30:47
    参数估计(parameter estimation),统计推断的一。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,矩法估计、最小二乘估计、似然...
  • 机器学习中的参数估计方法

    千次阅读 2018-08-24 13:31:31
    对于参数估计,统计学界的个学派分别提供了不同的解决方案: 频率主义学派(Frequentist)认为参数虽然未知,但却是客观存在的固定值,因此,可通过优化似然函数等准则来确定参数值 贝叶斯学派(Beyesian)则...
  • 参数估计的计算方法

    千次阅读 2020-05-27 19:21:58
    参数估计的计算方法极大后验(MAP)及拉普拉斯逼近基于马尔可夫链的蒙特卡洛参数推断(MCMC)期望极大化(EM) (参数估计所有内容) 极大后验(MAP)及拉普拉斯逼近 极大后验估计: MAP是通过确定后验分布的极大值得到的,...
  • 统计推断包括参数估计和假设检验。参数估计就是用样本指标(统计量)来估计总体指标(参数)。 一、参数估计基础-Z分布 在统计应用中,可以把任何一个均数为,标准差为的正态分布转变为,的标准正态分布,即将...
  • 参数估计方法——OLS、MLE、MAP

    千次阅读 2019-07-31 15:17:22
    文章目录1、前言2、最大似然估计法 MLE3、最大后验估计 MAP4...在概率论中,参数估计有点估计(point estimation)和区间估计(interval estimation)两种。而 ML 中主要是构造点估计的方法常用的:①最大似然估计法,...
  • 种参数估计方法(MLE,MAP,贝叶斯估计)
  • 参数估计与假设检验的区别和联系

    万次阅读 2019-05-11 18:09:08
    参数估计就是用样本统计量去估计总体的参数的真值,它的方法有点估计和区间估计两种。 点估计就是直接以样本统计量直接作为相应总体参数的估计值。点估计的缺陷是没法给出估计的可靠性,也没法说出点估计值与总体...
  • 关于参数估计(点估计和参数估计)的详细笔记。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 191,703
精华内容 76,681
关键字:

参数估计有哪两种