精华内容
下载资源
问答
  • Logistic回归简介Logistic回归:主要用于因变量为分类变量(如疾病缓解、不缓解,评比62616964757a686964616fe78988e69d8331333363383438中好、中、差等)回归分析,自变量可以为分类变量,也可以为连续变量。...

    Logistic回归简介

    Logistic回归:主要用于因变量为分类变量(如疾病的缓解、不缓解,评比62616964757a686964616fe78988e69d8331333363383438中的好、中、差等)的回归分析,自变量可以为分类变量,也可以为连续变量。因变量为二分类的称为二项logistic回归,因变量为多分类的称为多元logistic回归。

    Odds:称为比值、比数,是指某事件发生的可能性(概率)与不发生的可能性(概率)之比。

    OR(Odds Ratio):比值比,优势比。

    2.SPSS中做Logistic回归的操作步骤

    分析>回归>二元Logistic回归

    选择因变量和自变量(协变量)

    3.结果怎么看

    一些指标和数据怎么看

    “EXP(B)”即为相应变量的OR值(又叫优势比,比值比),为在其他条件不变的情况下,自变量每改变1个单位,事件的发生比“Odds”的变化率。

    伪决定系数cox  Snell R2和Nagelkerke R2,这两个指标从不同角度反映了当前模型中自变量解释了因变量的变异占因变量总变异的比例。但对于Logistic回归而言,通常看到的伪决定系数的大小不像线性回归模型中的决定系数那么大。

    预测结果列联表解释,看”分类表“中的数据,提供了2类样本的预测正确率和总的正确率。

    建立Logistic回归方程

    logit(P)=β-0+β1*X1+β2*X2+……+βm*Xm

    4.自变量的筛选方法和逐步回归

    与线性回归类似,在Logistic回归中应尽量纳入对因变量有影响作用的变量,而将对因变量没有影响或影响较小的变量排除在模型之外。

    ①.Wald检验:Wals是一个统计量,用检验自变量对因变量是否有影响的。它越大,或者说它对应的sig越小,则影响越显著。

    ②.似然比检验(Likelihood Ratio

    Test):Logistic模型的估计一般是使用极大似然法,即使得模型的似然函数L达到最大值。-2lnL被称为Diviance,记为D。L越大,则D越大,模型预测效果越好。似然比检验是通过比较是否包含某个或几个参数β的多个模型的D值。

    ③.比分检验(Score Test)

    以上三种假设检验中,似然比检验是基于整个模型的拟合情况进行的,结果最为可靠;比分检验结果一般与似然比检验结果一致。最差的就是Wald检验,它考虑各因素的综合作用,当因素间存在共线性的时候,结果不可靠。故在筛选变量时,用Wald法应慎重。

    SPSS中提供了六种自变量的筛选方法,向前法(Forward)和向后法(Backward)分别有三种。基于条件参数估计和偏最大似然估计的筛选方法都比较可靠,尤以后者为佳。但基于Wald统计量的检验则不然,它实际上未考虑各因素的综合作用,当因素间存在共线性时,结果不可靠,故应当慎用。

    5.模型效果的判断指标

    ①.对数似然值与伪决定系数

    Logistic模型是通过极大似然法求解的,极大似然值实际上也是一个概率,取值在0~1之间。取值为1,代表模型达到完美,此时其对数值为0;似然值越小,则其对数值越负,因此-2倍的对数似然值就可以用来表示模型的拟合效果,其值越小,越接近于0,说明模型拟合效果越好。

    ②.模型预测正确率

    对因变量结局预测的准确程度也可以反映模型的效果,SPSS在Logistic回归过程中会输出包含预测分类结果与原始数据分类结果的列联表,默认是按照概率是否大于0.5进行分割。

    ③.ROC曲线

    ROC曲线即受试者工作特征曲线(Receiver

    Operating Characteristic Curve),或译作接受者操作特征曲线。它是一种广泛应用的数据统计方法,1950年应用于雷达信号检测的分析,用于区别“噪声”与“信号”。在对Logistic回归模型拟合效果进行判断时,通过ROC曲线可直接使用模型预测概率进行。应用ROC曲线可帮助研究者确定合理的预测概率分类点,即将预测概率大于(或小于)多少的研究对象判断为阳性结果(或阴性结果)。ROC曲线,预测效果最佳时,曲线应该是从左下角垂直上升至顶,然后水平方向向右延伸到右上角。如果ROC曲线沿着主对角线方向分布,表示分类是机遇造成的,正确分类和错分的概率各为50%,此时该诊断方法完全无效。

    展开全文
  • 参数估计的计算方法

    千次阅读 2020-05-27 19:21:58
    参数估计的计算方法极大后验(MAP)及拉普拉斯逼近基于马尔可夫链的蒙特卡洛参数推断(MCMC)期望极大化(EM) (参数估计所有内容) 极大后验(MAP)及拉普拉斯逼近 极大后验估计: MAP是通过确定后验分布的极大值得到的,...

    参数估计所有内容

    极大后验(MAP)及拉普拉斯逼近

    极大后验估计:
    MAP是通过确定后验分布的极大值得到的,在点估计中的表达式为:在这里插入图片描述MAP 估计可等效为能量函数的极小值:
    在这里插入图片描述其中,能量函数表达式为:
    在这里插入图片描述参数的极大似然估计即为一种标准先验概率满足下式的MAP估计:
    在这里插入图片描述

    能量函数的极小值可通过多种基于无梯度或梯度的广义最优算法计算得到。
    若要利用基于梯度的广义最优化算法,需要计算能量函数的导数。计算能量函数导数有两种方法:
    1). 对能量函数的递归方程用一种特殊的方法进行微分,所得的结果称为灵敏度函数,可由类似于滤波过程中递归方程计算得到。
    2). 利用Fisher特性,将能量函数的梯度表示为平滑分布所有数据对数似然导数的期望值。该方法相比于直接微分法优点在于不要计算额外的递归方程。

    MAP估计的缺点:该方法实际运用了狄拉克 δ\bm{\delta} 方程逼近后验分布,即:
    在这里插入图片描述从而忽略了后验分布的变化。

    拉普拉斯逼近法:
    利用能量函数的二阶导数(Hessian) 实现对后验分布的高斯逼近,表达式为:
    在这里插入图片描述式中,H(θ^MAP)\bm{H(\hat\theta^{MAP})}MAP 估计值出的 Hessian 矩阵。该方法需要计算或者逼近能量函数的二阶导数。

    基于马尔可夫链的蒙特卡洛参数推断(MCMC)

    MH算法:
    Metropolis-Hastings(MH)算法是最为常见的一种MCMC方法。MH引入建议密度 q(θ(i)θ(i1))\bm{q(\theta^{(i)}|\theta^{(i-1)})},通过结合已知采样点 θ(i1)\bm{\theta^{(i-1)}},给出新的建议采样点 θ(i)\bm{\theta^{(i)}}
    MH算法步骤为:
    首选由任意初始分布得到起始点 θ(0)\bm{\theta^{(0)}}
    然后,对于 i=1,2,,N\bm{i=1,2,\cdot\cdot\cdot,N},有

    1). 从建议密度中选择一个参考点 θ\bm{\theta^{*}}:
    在这里插入图片描述2). 计算接受概率:
    在这里插入图片描述3). 产生均匀分布随机变量 uU(0,1)\bm{u \sim U(0,1)},并令:
    在这里插入图片描述

    Metropolis算法为Metropolis-Hastings算法的一种特例,其建议分布为对称的,即 q(θ(i)θ(i1))=q(θ(i1)θ(i))\bm{q(\theta^{(i)}|\theta^{(i-1)})}=\bm{q(\theta^{(i-1)}|\theta^{(i)})},此时,接受概率缩减为:
    在这里插入图片描述
    建议分布的选取对Metropolis-Hastings算法的性能影响较大,通常采用高斯部分作为建议分布。即:
    在这里插入图片描述式中,i1\bm{\sum^{i-1}} 为合适的协方差矩阵。
    选定协方差矩阵其中一种方法是自适应马尔可夫链蒙特卡洛法(AMCMC\bm{AMCMC}),该方法可以载解算MCMC\bm{MCMC}时,自动调整所需要的高斯建议分布协方差阵。
    AMCMC\bm{AMCMC} 的思想为:利用先前采样点产生的协方差阵作为后验分布实际协方差阵的估计值。在已知先前的协方差矩阵的情况下,就可以计算建议分布的协方差阵。

    RAM(robust adaptive Metropolis)算法:
    RAM步骤为:
    1). 有初始分布 p0(θ)\bm{p_0(\theta)} 获得 θ(0)\bm{\theta^{(0)}},利用初始协方差阵的下三角阵 Chollesky\bm{Chollesky} 因子对 S0\bm{S_0} 进行初始化。
    2). 获取一个采样点 θ=θi1+Si1ri,riN(0,I)\bm{\theta^*=\theta_{i-1}+S_{i-1}r_i},r_i\sim N(0,I)
    3). 计算接受概率:
    在这里插入图片描述4). 从均匀分布 U(0,1)\bm{U(0,1)} 中采样的到一个服从均匀分布的随机变量 u\bm{u}
    5).
    在这里插入图片描述6). 计算下三角矩阵 Si\bm{S_i},使得该矩阵满足对角线元素为正,且该阵满足:
    在这里插入图片描述式中,{η}i1(0,1]\bm{\{\eta\}_{i\ge1}\subset(0,1]},为一个自适应步长序列,并逐渐衰减为零。可任意选取,在其他文献中给出一个选取建议:ηi=iγ,γ(1/2,1]\bm{\eta_i=i^{- \gamma},\gamma\in(1/2,1]}
    7).ii+1\bm{i\leftarrow i+1},跳至步骤2),直到获取足够多的采样点。

    期望极大化(EM)

    EM\bm{EM} 算法适用于边缘似然无法计算但仍能计算得到似然函数下界的情形。设 q(x0:T)\bm{q(x_{0:T})} 为状态的任意概率密度函数,则有:
    在这里插入图片描述式中,函数 F\bm{F} 的定义为:
    在这里插入图片描述
    EM\bm{EM} 算法中国最重要的就是通过迭代最大化下界 F[q(x0:T),θ]\bm{F[q(x_{0:T}),\theta]},进而实现 logp(y1:Tθ)\bm{logp(y_{1:T}|\theta)} 的最大化。

    简易的EM算法
    对函数 F\bm{F} 的最大化,可通过协调提升下述步骤实现:
    假设初始值为:q(0),θ(0)\bm{q^{(0)},\theta^{(0)}}
    对于 n=0,1,2,\bm{n=0,1,2,\cdot\cdot\cdot},执行如下步骤:
    1). E-步骤:获取:
    在这里插入图片描述2). M-步骤:获取:
    在这里插入图片描述
    为实现 EM\bm{EM} 算法,上式的极大化必行是可行的,所幸在其他文献中给出 E\bm{E} 步骤极大化后的结果:
    在这里插入图片描述将上式带入 F\bm{F} 函数中,得:
    在这里插入图片描述
    由于在实行 M\bm{M} 步骤中,上式右边第二项与 θ\bm{\theta} 无关,故极大化 函数 F\bm{F} 就得等价于对等式右边第一项对极大化,因此,在 EM\bm{EM} 算法中,可表示为:
    在这里插入图片描述上式为 EM\bm{EM} 算法得到关于 p(x0:T,y0:Tθ)\bm{p(x_{0:T},y_{0:T}|\theta)} 的期望,p(x0:T,y0:Tθ)\bm{p(x_{0:T},y_{0:T}|\theta)}是在参数 θ\bm{\theta} 条件下关于全部状态量和量测量的联合后验似然分布。

    EM\bm{EM} 算法:
    假设初始值为 θ(0)\bm{\theta^{(0)}}。对于 n=0,1,2,\bm{n=0,1,2,\cdot\cdot\cdot},执行如下步骤:
    1). E-步骤:计算 Q(θ,θ(n))\bm{\mathcal{Q(\theta,\theta^{(n)})}}
    2). M-步骤:计算:
    在这里插入图片描述结合下式:状态空间模型的马尔可夫链结构:
    在这里插入图片描述完全数据的对数似然表达式为:
    在这里插入图片描述因此,Q\bm{\mathcal{Q}} 的表达式及上述算法的 E\bm{E} 步骤可以简化为:
    在这里插入图片描述式中:
    在这里插入图片描述上式均为关于平滑分布的期望,即可不必在计算完全后验分布的期望。

    EM\bm{EM} 算法的 E\bm{E} 步骤中,需要对 Q\bm{\mathcal{Q}} 的表达式关于参数 θ\bm{\theta} 的极大化。
    实用的方法为将梯度设为零,求的此时极大值时候的 θ\bm{\theta} 取值:
    在这里插入图片描述
    EM\bm{EM} 算法,
    E\bm{E} 步骤:利用上一步得到的表达式 Q(θ,θn)\bm{\mathcal{Q(\theta,\theta^n)}} 求出满足表达式 Q(θ,θn)\bm{\mathcal{Q(\theta,\theta^n)}} 极大值的 参数 θn\bm{\theta^n}
    M\bm{M} 步骤:将 E\bm{E} 步骤求出的参数 θn\bm{\theta^n} 作为下一步已知的值 θn+1\bm{\theta^{n+1}} 带入表达式 Q(θ,θn)\bm{\mathcal{Q(\theta,\theta^n)}} 中得到Q(θ,θn+1)\bm{\mathcal{Q(\theta,\theta^{n+1})}},进而最大化函数 F\bm{F} 的下限。
    循环重复 E,M\bm{E,M} 步骤,直到满足要求。

    展开全文
  • 参数估计

    千次阅读 2018-10-10 23:31:28
    前言   学了很久的数理统计...1.参数估计的requisites   我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理...

    前言

      学了很久的数理统计,总觉得知识在脑海中没有一个清晰的轮廓,虽然也可以自己通过纸和笔整理,但是,也想要通过新的方式,用文字的方式输出,这一想法已经在我脑海里盘旋了好久了,终于在今天开始落实。

    一、参数估计内容

    1.参数估计的requisites

      我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理有一些了解,最好还要知道三大抽样分布的性质。

    但是还是简单提一下统计量的概念吧:统计量是从样本中得到的,是样本的函数,统计量不含有任何未知参数。

    2.参数估计的目的

      我们在统计中,总是想要通过样本去推断总体的性质,而引进统计量,就是对样本进行描述的过程。实际中,我们感兴趣的问题总是与总体分布中的未知参数有关系,所以,我们要对参数进行估计和检验。
    这里的参数是指:

    • 分布中的未知参数和未知参数的函数
    • 分布的各种特征函数

    3.参数估计的类型和使用

    在此之间,我们必须要明确一点,估计是一个方法,不是一个具体算出来的值;只是,在给定样本以后,用这种估计的方法,可以算出数值。

    3.1 点估计

      点估计,顾名思义是对某个未知参数的值的估计,就像是数轴上的一个点。因此我们的目的也就是找到一个未知参数的好的估计量。
      知道点估计的含义以后,我们先来看看常用的找估计量的方法:

    • 矩估计
    • 最大似然估计
    • 最小方差无偏估计
    • 贝叶斯估计

    3.1.1 矩估计

      矩估计的基本原理就是:替换原理通过样本的矩替换总体的矩,用样本矩的函数替换总体矩的函数。
      这么做的好处是:在总体分布函数未知的情况下,通过样本的特征数可以对各种参数进行估计。
      矩估计的实质是:用样本的经验分布函数去替换总体的分布,理论基础是格里纹科定理。
      具体的操作就是:

    1. 假设已知总体的概率密度函数,但其中的参数未知,通过这个带有未知参数的密度函数去求总体的各阶矩;
    2. 利用样本的数据,求各阶矩;
    3. 通过总体各阶矩和样本各阶矩相等,构造方程组,解出参数。

    3.1.2 最大似然估计(MLE)

      最大似然估计,也可以叫做极大似然估计,从字面理解非常到位就是,找到一个未知参数的估计,使得在这个估计的条件下,由总体概率密度函数推算的分布下,样本发生的可能性最大。即是,最大的像这样的估计。
    具体操作就是:

    1. 将未知参数的估计设为x,带入总体密度函数。
    2. 建立在样本的独立性的条件下,根据样本求出样本取得当下值的概率。
    3. 通过分析计算出使得概率达到最大的x,就是未知参数的极大似然估计。
      最大似然估计具有不变性。

    3.1.3 最小方差无偏估计

      首先引进均方误差(MSE)的概念,均方误差是用于衡量点估计好坏的一种标准,关于衡量点估计好坏的标准在后文还会详细介绍,这里为了需要,先简单提一下。首先明确一点,均方误差是对点估计进行的计算。具体的计算公式是,参数估计值与真实值之差的平方的期望,通过分解,也等于估计值的方差加估计值的期望与真实值之差的平方。
      一致最小均方误差估计,是需要在一个确定的估计类里,找到均方误差相对最小的那个。但由于是在估计类里找,如果不对估计加任何限制,则一致最小均方误差估计是不存在的,所以没有意义。
      最小方差无偏估计,这里是指一致最小方差无偏估计,就是对于一个参数的无偏估计而言,最小的均方误差就意味着最小的方差。对于参数空间中的任何无偏估计,具有最小方差的那个估计就称作是一致最小方差无偏估计(UMVUE)
    实际上,用于判断是否是UMVUE,可以通过一个定理方便地得到:未知参数的UMVUE必然与任一零的无偏估计不相关。也就是说,现在还有一个其他的随机变量X,均值是零,那么这个未知参数的UMVUE与这个随机变量X的相关系数(Cov)为零。

    3.1.4 贝叶斯估计

      前面介绍的三种办法是频率学派的理论,而贝叶斯估计是贝叶斯学派的观点。
      贝叶斯估计是建立在已经有关于参数的分布的信息的基础上,叫做先验信息,然后进行样本观测,推算后验分布。也可以理解为,用总体和样本对先验分布做出调整。
      具体做法是:

    1. 在参数未知的条件下,确定总体的分布
    2. 根据参数的先验信息确定先验分布 π(θ)
    3. 求出在通过先验分布得到的未知参数后,样本的联合分布 p(X|θ)
    4. 确定样本和未知参数的联合分布,也就是2.与3.得到的分布函数之积 h(X,θ)=p(X|θ)π(θ)。
    5. 对参数θ的贝叶斯推断,π(θ|X)= h(X,θ)/m(X),其中m(X) 是从h(X,θ)中对θ整个参数空间积分得到的,X的边际概率函数。

    3.2 点估计好坏的评价标准

      前面已经提到点估计的目的是找到未知参数的好的估计量,那么到底怎么定义“好”,也是我们需要关心的。在点估计中,有如下标准衡量:

    • 无偏性
    • 有效性
    • 相合性
    • 均方误差
    • 充分性原则
    • 有效估计

      我刚学参数估计的时候,脑子里总是记不住这些性质到底在描述什么QAQ
      好吧,其实现在也记不住,我也必须翻一下笔记了…

    • 无偏性
        无偏性是描述经过重复抽样以后,所有对这个未知参数的估计值的平均等于真实的参数值。具体判断也就是计算这个估计的均值,看它是否等于真实值。关于无偏性还有一些性质,最好能够记住:
      1. 样本的k阶中心距通常不是总体k阶中心矩的无偏估计
      2. 无偏性不具有不变性,也就是无偏估计的函数不一定是无偏估计
          无偏估计还有渐近无偏估计,就是当样本量趋近于无穷时,均值的极限趋近于真实值。也是用于衡量一个估计是一个好的估计的准则。
    • 有效性
        有效性是建立在两个无偏估计的基础上,比较两个无偏估计的方差,方差小的更有效。
    • 相合性
        与渐近无偏性从期望的极限角度理解不同,相合性是从概率的角度,即未知参数的估计,在样本量趋近于无穷大的时候,估计量依概率收敛到未知参数。也即是说,当样本量增大的时候,被估计的参数能够被估计到任意指定的精度。判断相合性,我们采用验证它的充分条件:
      1. 渐进无偏性
      2. 方差收敛到0
          由大数定理知道,矩估计一般都是相合的
    • 均方误差
        MSE,是通过计算参数估计值与真实值之差的平方的期望,其大小能够反映估计的好坏,在同一估计类里越小越好。
    • 充分性原则
        首先,要注意充分性原则和充分性是两个不同的东西!充分性是描述统计量不丢失关于样本的任何信息,则称这个统计量为充分统计量。那么,充分性原则和充分性一点关系都没有吗?也不是的。在比较两个无偏估计的好坏的时候,较好的那个无偏估计总是样本的充分统计量;并且,将不是样本充分统计量的统计量,关于充分统计量求期望,得到的估计,一定是充分统计量,并且新的估计的方差也得到了降低。
        换句话说,对于所有的统计推断问题,考虑未知参数的估计问题,只需要在基于充分统计量的函数中进行即可,这就是充分性原则。
        你可能还在想,怎么将不是样本充分统计量的统计量关于一个充分统计量求期望?利用随机过程讲义的第一章的内容,利用条件概率公式,连续函数求积分,离散函数求∑。
    • 有效估计
        有效估计是一个估计,它的方差达到了Cramer-Rao方程的下界,有效估计一定是UMVUE哈。具体计算来判断是否是有效估计的话:
      1. 根据总体密度函数(含参数)检验满足C-R方程的条件;
      2. 求费希尔信息量,找到C-R下界;
      3. 对无偏估计求方差,检验是否等于C-R下界。

    3.3 区间估计

      之前我们讨论的都是点估计,但是关于统计量的精度我们无法定量的回答,必须通过它们的分布来反映。在实际中,度量点估计精度直观方法就是给出未知参数的一个区间,这就是区间估计。
      区间估计是想要找到两个统计量,构成一个区间,这个区间盖住未知参数真值的可能性不确定,但是人们总是希望在尽可能小的区间下,区间盖住真值的可能性越大越好,由此得到置信区间的定义:
      置信区间,是一个有样本值得到的随机区间,未知参数真值落在这个随机区间中的概率大于等于1-a,或者理解为,未知参数真值不落在这个随机区间中的概率小于置信度,满足这个条件的随机区间称作置信区间。首先,置信水平是随机区间盖住真值的概率,置信水平等于置信度,然后,我自己理解置信度是这样的:当大量重复实验,用置信区间的计算方法,得到很多个N个随机区间的时候,有(N* 置信水平)的那么多个区间,包括了均值。
      那具体怎么做区间估计呢?我们通过构造区间估计的方法,使用最基本的枢轴量法:

    1. 什么是枢轴量?
        枢轴量是样本和未知参数的函数,它具有的性质是其分布不依赖与未知参数,或者说,它的概率密度函数与参数无关。
    2. 枢轴量有什么用?
        在参数未知的时候,没有办法直接凭空从置信水平找到随机区间的上下限,所以采用枢轴量的分布函数,以此为媒介,根据置信水平,先算出枢轴量的置信区间,再反解出上下限。
    3. 枢轴量怎么用?
        其实2.已经解答过了,从未知参数的好的点估计(MLE)出发,用它的性质和密度函数构造。根据置信水平,通常采用等尾置信区间保证区间长度最短,先算出枢轴量的置信区间,再反解出上下限。
    4. 有什么特别的检验的构造套路吗?
        老师教过的有:
      • 单个正态总体参数:分为均值、方差是否已知,对均值和方差分别都有不同的枢轴量
      • 大样本置信区间:原理是中心极限定理,在样本方差已知的时候,很ok;在样本方差未知的时候,中心极限定理的分布可以将方差换成它的相合估计。注意哦,大样本运用中心极限定理,最多只有样本的方差的相合估计代替方差,不可以用均值的无偏估计代替总体均值位置上的μ的!
      • 两独立正态总体下均值之差和方差之比的置信区间:类似于单个正态总体,在估计均值的时候,要看方差是否已知,或者方差成比例;在估计方差之比的时候,直接就有枢轴量,不需要讨论均值是否已知。

      除了这些,均匀分布的总体还有一些特别的构造方法,课后题和期中考试卷子也有涉及,供自己参考~
      注:区间估计构造枢轴量的时候,大量用到前面一章节的统计量及其分布、以及三大抽样分布的基础。

    二、整体学习思路

      参数的点估计—>穿插如何评价点估计的好坏—>参数的区间估计
      建议的学习思路:点估计—>评价点估计的好坏—>参数估计,感觉独立开会更清晰一些~

    三、声明

      全文都是我个人的学习笔记,肯定有出现错误欢迎指正。

    展开全文
  • 参数估计 点估计概述

    2020-11-02 15:42:45
    在上一节中,我们初步讨论了什么是参数估计问题,它是统计推断中的估计问题。 对统计参数进行估计,主要有两种方法:点估计和区间估计 点估计的核心思想可以概括为离散思想,区间估计的核心思想可以概括为连续思想。...

    目录

    https://blog.csdn.net/weixin_45792450/article/details/109314584


    参数估计问题的重述

    在上一节中,我们初步讨论了什么是参数估计问题,它是统计推断中的估计问题。

    对统计参数进行估计,主要有两种方法:点估计区间估计

    点估计的核心思想可以概括为离散思想,区间估计的核心思想可以概括为连续思想。对点估计,利用样本的离散值进行参数估计;对区间估计,其利用了区间这一有效工具,通过特定的方法进行一个,在某些方面相对点估计更好的估计方式。

    更具体的内容后面一步步展开,在此只是稍作提及。

    点估计的认识

    (X1,X2,...,Xn)({X_1},{X_2},...,{X_n})为来自总体XX的样本,(x1,x2,...,xn)({x_1},{x_2},...,{x_n})为相应的样本值,θ\theta是总体分布中的未知参数,θΘ\theta \in \Theta.这里Θ\Theta表示θ\theta的取值范围,称为参数空间。

    尽管θ\theta是未知的,但它的参数空间Θ\Theta是事先知道的.为了估计未知参数θ\theta,我们构造一个统计量H(X1,X2,...,Xn)H({X_1},{X_2},...,{X_n})然后用H(X1,X2,...,Xn)H({X_1},{X_2},...,{X_n})的值H(x1,x2,...,xn)H({x_1},{x_2},...,{x_n})来估计θ\theta的真值。

    H(X1,X2,...,Xn)H({X_1},{X_2},...,{X_n})θ\theta的估计量,记作θ^(X1,X2,...,Xn)\hat \theta ({X_1},{X_2},...,{X_n});称H(x1,x2,...,xn)H({x_1},{x_2},...,{x_n})θ\theta的估计值,记作θ^(X1,X2,...,Xn)\hat \theta ({X_1},{X_2},...,{X_n})

    在不会引起误会的场合,估计量与估计值统称为点估计,简称为估计,并简记为θ^\hat \theta。事实上,θ\theta的估计值是数轴上的一个点,用θ\theta的估计值θ^\hat \theta作为θ\theta的真值的近似值就相当于用一个点来估计8,因此得名为点估计。

    注意,估计量是相对于某个具体的未知参数讨论的,不同的未知参数可能需要不同的估计量。

    具体的例子:

    点估计量的评价

    对某一参数的点估计,可以选用不同的估计量,比如对总体XX的均值E(X)E(X)的估计,可以构造估计量

    Xˉ=i=1nXin\bar X = {{\sum\limits_{i = 1}^n {{X_i}} } \over n}

    该估计量就是之前我们学过的样本均值。显然,nn可以任选,那么如何评价不同的估计量效果呢?

    评价估计量的标准主要有三个:无偏性有效性一致性。具体介绍见下一节。

    展开全文
  • 参数估计

    2018-09-06 09:38:05
    《现代非参数统计》是“All of Nonparametric Statistics”的中译本,源于作者为研究生开设的课程讲义,包括了几乎所有的现代非参数统计的内容.这种包罗万象的书不但国内没有,在国外也很难找到。《现代非参数统计...
  • MAP参数估计

    2019-10-07 01:55:08
    在贝叶斯参数估计中, 除了先验是特别选定情况下, 通常要积分掉所有模型参数是没有解析解. 在这种情况下, 最大后验(maximum a posteriori, MAP)估计是一种常用近似. 在MAP中, 我们选择最大化后验参数. 尽管...
  • 贝叶斯参数估计

    2017-02-09 11:20:00
    (学习这部分内容约需要1.9小时) ... 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测. 预备内容 弄清楚这个概念需要一些预备知识...
  • 在该项目中考虑了对正则化参数估计的下采样。 此项目中使用的文件名约定包括以下信息。 文件包含内容的描述符(例如:Data1D,NoisePlot) 测试功能编号,由“ F”后的数字表示 SNR,由“ S”后的数字表示 高斯...
  • Simulink Design Optimization的参数估计

    千次阅读 2019-03-12 13:51:51
    还是因为最近工作需要用到参数估计一块的内容。。。记录一下学习心得和有用的资料 一、几个命令的更新 1、speload和spetool speload是旧命令,2018b版已经help不到这个命令了,但还能用。新命令改名为spetool。...
  • 浅谈参数估计

    千次阅读 2019-09-03 09:38:34
    参数估计是推断统计重要内容之一,它是在抽样及抽样分布基础上,根据样本统计量来推断所关心总体参数. 估计量 如果能够掌握总体全部数据,那么只需要作一些简单统计描述,就可以得到所关心总体特征,比如,...
  • 用Radon变换,来求取运动模糊图像的参数估计内容简洁易懂
  • 状态空间模型中实际参数估计

    千次阅读 2020-05-27 19:23:05
    状态空间模型中实际参数估计状态扩增法线性状态空间模型的参数估计利用高斯滤波与平滑的参数估计(非线性模型)基于粒子滤波与平滑的参数估计参数 Rao-Blackwell 化 (参数估计所有内容) 状态扩增法 线性状态空间...
  • 参数估计是推断统计重要内容之一。它是在抽样及抽样分布基础上,根据样本统计量来推断所关心总体参数。例如,想知道北京市民平均收入,最准确方式就是去询问每个北京市民收入,然后得到平均值,但实际中...
  • 实验2 参数估计

    2020-12-04 22:36:58
    实验2 参数估计 实验目的: \1. 了解R语言中概率密度函数、分布函数和分位数计算; \2. 了解R语言中常见数学函数形式; \3. 了解R语言中求函数极值三大命令:optim()、nlm()、optimize() 。(注:可用来计算...
  • 参数的估计问题与矩估计

    千次阅读 2018-03-27 15:13:06
    机器学习的许多公式推导都涉及了数理统计的内容,特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。 对一些数理统计的基本概念的介绍,可参考之前的文章“数理统计学的基本概念...
  • 在学习概率论"参数估计"一章时有一些概念没能理解清楚,尤其是参数估计性质。在反复翻书过程中总算搞清楚了一些,在这里记录一下我理解 无偏性 一般书上讲到第一个性质就是这个,初看很让人头大,如果不...
  • 文章目录参数估计参数估计的基本原理评价估计量的标准一个总体参数的区间估计两个总体参数估计 参数估计 参数估计是推断统计的重要内容之一。它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数...
  • 前言: 找到的第一篇文献,里面的密度函数出现了明显问题,在CSDN里面找也经常是只找到一个或者两个分布的估计,但是有时候...实践证明这里面讲到的关于参数估计的内容非常准确。 文章目录1 背景知识2 典型分布模型2...
  • 阅读【神经网络与机器学习】第二章的最大似然参数估计的感想。 书中具体内容请查看原文,大体内容就是讲最大似然参数估计算法,但其中有涉及到正则化。 其中的正则化项即是待估计参数W的先验概率,书中说W的先验...
  • 那些参数估计

    千次阅读 2018-05-10 14:33:09
    本文内容写在前面:参数估计是一种统计推断。在统计学世界中,自古以来一直存在着两种分布:一种存在于现实世界中,比如我们可以把一枚硬币扔上一万次,然后算一下几次正面几次反面,这是样本分布;另一种只存在...
  • 一、参数估计的基本原理 估计量:在参数估计中,用来估计总体参数的统计量 估计值:根据一个具体的样本计算出来的估计量的数值 点估计:用样本统计量theta的某个取值直接作为总体参数的估计值 区间估计:在点...
  • 毫无疑问,函数估计是一个比参数估计要复杂得多的问题,当然也是一个有趣的多的问题。这个问题在模型未知的实验设计的建模中十分的常见,也是我正在学习的内容的一部分。 关于函数估计我想至少有这么几个问题是我们...
  • (参数估计所有内容) 对于模型中未知参数 θ∈Rd\bm{\mathbb{\theta \in R^d}}θ∈Rd,贝叶斯方法通常将其建模为先验分布已知随机变量,且其先验分布表示为 p(θ)\bm{p(\theta)}p(θ)。参数全部已知时,系统状态...
  • 本文档介绍了MIMO雷达多目标参数估计的方法,可以根据文档提供的内容进行仿真,对大家非常有帮助
  • 总体参数估计概述

    千次阅读 2009-10-26 19:47:00
    概括地说,研究一个随机变量,推断它具有什么样的数量特征,按什么样的模式来变动,这属于估计理论的内容,而推测这些随机变量的数量特征和变动模式是否符合我们事先所作的假设,这属于检验理论的内容参数估计和...
  • 在学习统计学贾书过程,在第6—14章节出有许多需要理解与记忆公式和概念,在此通过博客形式做一次梳理,主要内容为统计学中抽样分布、假设检验、参数估计、分类数据分析、方差分析、一元二元线性分析、时间...
  • 参数估计之最大似然估计(此文为后续学习softmax函数等内容提供基础) 基本思路:对于离散总体,设有样本观测值x1,x2,⋯,xnx_1,x_2,\cdots ,x_n,我们写出该观测值出现概率,它一般依赖于某个或某些参数,用θ\...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,039
精华内容 415
关键字:

参数估计的内容