精华内容
下载资源
问答
  • 似然比检验

    千次阅读 2019-12-16 16:08:40
    LRT:Likelihood Ratio Tests

    LRT:Likelihood Ratio Tests

    展开全文
  • 似然比检验 LRT

    万次阅读 2018-12-06 22:12:05
    似然比检验(likelihood ratio test,LRT)是一种检验参数能否反映真实约束的方法(分布或模型的某参数等于 是否为真实约束)。似然比检验的思想是:“如果参数约束是有效的,那么加上这样的约束不应该引起似然函数...

    似然比检验(likelihood ratio test, LRT)是一种检验参数能否反映真实约束的方法(分布或模型的某参数 \theta 等于 \theta_0 是否为真实约束)。似然比检验的思想是:“如果参数约束是有效的,那么加上这样的约束不应该引起似然函数最大值的大幅度降低。也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。” 可以看出,似然比检验是一种通用的检验方法(比 t 检验、\chi ^2 检验等具有更广的适用范围)。

    以下摘自《应用多元统计分析》:

    考虑多元正态分布N_q(\theta ,I),为了检验 \theta 是否等于 \theta_0,我们建立检验问题:

          H_0:\theta =\theta _0

          H_1: 对\theta没有约束

    或者等价地,\Omega _0=\left \{ \theta _0 \right \}, \Omega _1=R^q

    定义 L_j^*=maxL(X;\theta ) 为每个假设似然函数的最大值。考虑似然比(LR):

          \lambda (X)=\frac{L_0^*}{L_1^*}      或者写成对数形式  -2log\lambda =2(l_1^*-l_2^*)   

    [ 注:通常写成乘以2形式是为了之后推导中近似变换为卡方值,即-2log\lambda 的渐进分布是 \chi _{q-r}^2 ,其中 \Omega _0\in \Omega _1 是 r 维 ]

    如果LR值比较高,则倾向于接受 H_0 ,否则倾向于接受 H_1 。

    关于似然函数,可以参考:

    似然与极大似然估计

    似然函数及最大似然估计及似然比检验

     

    似然比检验LRT的应用广泛,包括:均值(包括均值向量的比较重复度量轮廓分析(趋势比较)、模型适合度等等。

    均值向量的比较:以二维向量为例,比如同时检验A、B两组人群的身高 x_1 和 体重 x_2 是否来自同一总体,可将身高和体重的均值组合成向量,即A组的均值向量为 \vec{\mu}_A=(x_{1A},x_{2A}),B组的均值向量为 \vec{\mu}_B=(x_{1B},x_{2B}),对这两组均值向量进行检验(此处LRT其实等价于Hotelling's T2检验)。均值向量的问题,其实本质上是线性假设(线性约束)问题,并且也可以用作回归系数的假设检验。

    重复度量:同一个指标在同一个主体上进行多次测量,检验多次测量值之间是否有差异(比如是否存在时间效应及治疗效应)。

    轮廓分析:以两组的轮廓为例,当重复测量发生在两组主体中时,想考量两组的重复测量趋势是否一致。对于这个问题,可以从这3方面考虑(这3方面需依次考虑):

    1. 基于平行的定义,这些轮廓相似吗(轮廓是否平行,注意这里不相交便意味着平行)?
    2. 如果轮廓是平行的,二者处于同一水平吗(两组轮廓是否为同一轮廓)?
    3. 如果轮廓是平行的,但二者不处于同一水平,轮廓存在治疗效应吗(无论接受何种治疗,轮廓是否始终保持相同,趋势是否一致)?

    这些问题可以转换为均值的线性约束问题进行求解。

    这些内容的具体介绍请参考《应用多元统计分析》。

    下面仅介绍使用似然比检验评估模型的适合度。

     

    评估模型的适合度

    似然比检验用来评估两个模型中那个模型更适合当前数据分析。具体来说,一个相对复杂的模型与一个简单模型比较,来检验它是不是能够显著地适合一个特定的数据集。如果可以,那么这个复杂模型的附加参数能够用在以后的数据分析中。LRT应用的一个前提条件是这些待比较的模型应该是分级的巢式模型。具体来讲,是说相对于简单模型,复杂模型仅仅是多了一个或者多个附加参数。增加模型参数必定会导致高似然值成绩。因此根据似然值的高低来判断模型的适合度是不准确的。LRT提供了一个客观的标准来选择合适的模型。LRT检验的公式: LR = 2*(InL1- InL2)

    其中L1为复杂模型最大似然值,L2为简单标准模型最大似然值LR近似的符合卡方分布。为了检验两个模型似然值的差异是否显著,我们必须要考虑自由度。LRT 检验中,自由度等于在复杂模型中增加的模型参数的数目。这样根据卡方分布临界值表,我们就可以判断模型差异是否显著。

    以下摘自维基百科:

    In statistics, a likelihood ratio test (LR test) is a statistical test used for comparing the goodness of fit of two statistical models — a null model against an alternative model. The test is based on the likelihood ratio, which expresses how many times more likely the data are under one model than the other. This likelihood ratio, or equivalently its logarithm, can then be used to compute a p-value, or compared to a critical value to decide whether or not to reject the null model.

    When the logarithm of the likelihood ratio is used, the statistic is known as a log-likelihood ratio statistic, and the probability distribution of this test statistic, assuming that the null model is true, can be approximated using Wilks' theorem.

    In the case of distinguishing between two models, each of which has no unknown parameters, use of the likelihood ratio test can be justified by the Neyman–Pearson lemma, which demonstrates that such a test has the highest power among all competitors.

    Being a function of the data x, the likelihood ratio is therefore a statistic. The likelihood ratio test rejects the null hypothesis if the value of this statistic is too small. How small is too small depends on the significance level of the test, i.e., on what probability of Type I error is considered tolerable ("Type I" errors consist of the rejection of a null hypothesis that is true).

    The numerator corresponds to the likelihood of an observed outcome under the null hypothesis. The denominator corresponds to the maximum likelihood of an observed outcome varying parameters over the whole parameter space. The numerator of this ratio is less than the denominator. The likelihood ratio hence is between 0 and 1. Low values of the likelihood ratio mean that the observed result was less likely to occur under the null hypothesis as compared to the alternative. High values of the statistic mean that the observed outcome was nearly as likely to occur under the null hypothesis as the alternative, and the null hypothesis cannot be rejected.

    The likelihood-ratio test requires nested models – models in which the more complex one can be transformed into the simpler model by imposing a set of constraints on the parameters. If the models are not nested, then a generalization of the likelihood-ratio test can usually be used instead: the relative likelihood.

    也就是说,比较的两个模型之间存在“嵌合关系”,其中一个模型的变量无约束,另一个模型的变量是前者经过约束后得到的。如果两个模型之间不是嵌套关系,那么就不能使用LRT,而要使用广义的LRT,即相对LR。

    在R里面有很多包都有这个函数,最常使用的是rms包中的lrtest()。如:

    library(rms)
    all.X <-data.frame(x.T=data.T, x.N=data.N, x.S=data.S, x.G=data.G, x.V=data.V, x.P=data.P, x.CEA2=data.CEA2, x.CA1992=data.CA1992)
    TN.model <- cph(Surv(survival.time,survival.status)~ x.T+x.N, 
                    data=all.X, na.action=na.omit )
    TNC.model <- cph(Surv(survival.time,survival.status)~ x.T+x.N+x.CEA2, 
                     data=all.X, na.action=na.omit )
    TN2TNC <- lrtest(TN.model, TNC.model)

     

    除了似然比检验,还有Wald检验、拉格朗日乘数检验都是基于最大似然估计MLE。当样本量较大时,三者是渐进等价的。

    尼曼-皮尔森引理说明,似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

    另外这个博客可以参考以下:似然函数及最大似然估计及似然比检验

     

    参考资料:

    《应用多元统计分析》 Wolfgang Hardle等著,陈诗一译. 北京大学出版社

    似然函数及最大似然估计及似然比检验

    似然与极大似然估计

    维基百科 - likelihood ratio test

    展开全文
  • 似然比检验(likelihood ratio test,LRT)是一种检验参数能否反映真实约束的方法(分布或模型的某参数等于 是否为真实约束)。似然比检验的思想是:“如果参数约束是有效的,那么加上这样的约束不应该引起似然函数最大值...

    似然比检验(likelihood ratio test, LRT)是一种检验参数能否反映真实约束的方法(分布或模型的某参数

    3484c1527177ac74ef92d123ac538fe3.png 等于 

    40d29f3fcc89d1712a05ebfd2c4764dc.png 是否为真实约束)。似然比检验的思想是:“如果参数约束是有效的,那么加上这样的约束不应该引起似然函数最大值的大幅度降低。也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。” 可以看出,似然比检验是一种通用的检验方法(比

    65d1684fc3a68d3d90b271876a8336ef.png 检验、

    ed6060f025fb0a1c6095d2896b62d1e8.png 检验等具有更广的适用范围)。

    以下摘自《应用多元统计分析》:

    考虑多元正态分布

    d9da56d341c7072ded91e0cbe0216c54.png,为了检验 

    3484c1527177ac74ef92d123ac538fe3.png 是否等于 

    40d29f3fcc89d1712a05ebfd2c4764dc.png,我们建立检验问题:

    6f67f9372bb900c9f01435132f78dba4.png

    fafe8ec9c5d11c6006984ccfd54bd5d0.png 对

    3484c1527177ac74ef92d123ac538fe3.png没有约束

    或者等价地,

    a2cb43b948e8b714eb6b76ed5f91cca2.png

    定义

    cd0c5cf6a043c4ed253cf0433ffa2cd4.png 为每个假设似然函数的最大值。考虑似然比(LR):

    3bcca66a7d502b73d99f2897cf271993.png      或者写成对数形式  

    78fa484efe41c091f2580173e6443967.png

    [ 注:通常写成乘以2形式是为了之后推导中近似变换为卡方值,即

    3284bb045414e66dcdf57e9028f69854.png 的渐进分布是

    9ca414e244830a9140357c98189d78af.png ,其中

    f62a803321d192822277f8d8b6d8674e.png 是 

    3e774a4b1990840f1dfb2593691947bb.png 维 ]

    如果LR值比较高,则倾向于接受

    c1324828c5e4b0308c24652428572864.png ,否则倾向于接受 

    36ee8c45a4dbb48c4cece2ab14761e65.png 。

    关于似然函数,可以参考:

    似然与极大似然估计

    似然函数及最大似然估计及似然比检验

    似然比检验LRT的应用广泛,包括:均值(包括均值向量)的比较、重复度量、轮廓分析(趋势比较)、模型适合度等等。

    均值向量的比较:以二维向量为例,比如同时检验A、B两组人群的身高

    23d5ce29a3c9d202c1567ddfd1ecb79b.png 和 体重

    0a66657eed004e9fcde872313f24ed63.png 是否来自同一总体,可将身高和体重的均值组合成向量,即A组的均值向量为 

    0dbf1616482e2c99fcd2cb547ab90a42.png,B组的均值向量为 

    6cbdd5241ee301e5009defb35aab72b0.png,对这两组均值向量进行检验(此处LRT其实等价于Hotelling's T2检验)。均值向量的问题,其实本质上是线性假设(线性约束)问题,并且也可以用作回归系数的假设检验。

    重复度量:同一个指标在同一个主体上进行多次测量,检验多次测量值之间是否有差异(比如是否存在时间效应及治疗效应)。

    轮廓分析:以两组的轮廓为例,当重复测量发生在两组主体中时,想考量两组的重复测量趋势是否一致。对于这个问题,可以从这3方面考虑(这3方面需依次考虑):

    基于平行的定义,这些轮廓相似吗(轮廓是否平行,注意这里不相交便意味着平行)?

    如果轮廓是平行的,二者处于同一水平吗(两组轮廓是否为同一轮廓)?

    如果轮廓是平行的,但二者不处于同一水平,轮廓存在治疗效应吗(无论接受何种治疗,轮廓是否始终保持相同,趋势是否一致)?

    这些问题可以转换为均值的线性约束问题进行求解。

    这些内容的具体介绍请参考《应用多元统计分析》。

    下面仅介绍使用似然比检验评估模型的适合度。

    评估模型的适合度

    似然比检验用来评估两个模型中那个模型更适合当前数据分析。具体来说,一个相对复杂的模型与一个简单模型比较,来检验它是不是能够显著地适合一个特定的数据集。如果可以,那么这个复杂模型的附加参数能够用在以后的数据分析中。LRT应用的一个前提条件是这些待比较的模型应该是分级的巢式模型。具体来讲,是说相对于简单模型,复杂模型仅仅是多了一个或者多个附加参数。增加模型参数必定会导致高似然值成绩。因此根据似然值的高低来判断模型的适合度是不准确的。LRT提供了一个客观的标准来选择合适的模型。LRT检验的公式: LR = 2*(InL1- InL2)

    其中L1为复杂模型最大似然值,L2为简单标准模型最大似然值LR近似的符合卡方分布。为了检验两个模型似然值的差异是否显著,我们必须要考虑自由度。LRT 检验中,自由度等于在复杂模型中增加的模型参数的数目。这样根据卡方分布临界值表,我们就可以判断模型差异是否显著。

    以下摘自维基百科:

    In statistics, alikelihood ratio test (LR test) is a statistical test used for comparing the goodness of fit of two statistical models — a null model against an alternative model. The test is based on the likelihood ratio, which expresses how many times more likely the data are under one model than the other. This likelihood ratio, or equivalently its logarithm, can then be used to compute a p-value, or compared to a critical value to decide whether or not to reject the null model.

    When the logarithm of the likelihood ratio is used, the statistic is known as a log-likelihood ratio statistic, and the probability distribution of this test statistic, assuming that the null model is true, can be approximated using Wilks' theorem.

    In the case of distinguishing between two models, each of which has no unknown parameters, use of the likelihood ratio test can be justified by the Neyman–Pearson lemma, which demonstrates that such a test has the highest power among all competitors.

    Being a function of the data x, the likelihood ratio is therefore a statistic. The likelihood ratio test rejects the null hypothesis if the value of this statistic is too small. How small is too small depends on the significance level of the test, i.e., on what probability of Type I error is considered tolerable ("Type I" errors consist of the rejection of a null hypothesis that is true).

    The numerator corresponds to the likelihood of an observed outcome under the null hypothesis. The denominator corresponds to the maximum likelihood of an observed outcome varying parameters over the whole parameter space. The numerator of this ratio is less than the denominator. The likelihood ratio hence is between 0 and 1. Low values of the likelihood ratio mean that the observed result was less likely to occur under the null hypothesis as compared to the alternative. High values of the statistic mean that the observed outcome was nearly as likely to occur under the null hypothesis as the alternative, and the null hypothesis cannot be rejected.

    The likelihood-ratio test requires nested models – models in which the more complex one can be transformed into the simpler model by imposing a set of constraints on the parameters. If the models are not nested, then a generalization of the likelihood-ratio test can usually be used instead: the relative likelihood.

    也就是说,比较的两个模型之间存在“嵌合关系”,其中一个模型的变量无约束,另一个模型的变量是前者经过约束后得到的。如果两个模型之间不是嵌套关系,那么就不能使用LRT,而要使用广义的LRT,即相对LR。

    在R里面有很多包都有这个函数,最常使用的是rms包中的lrtest()。如:

    library(rms)

    all.X

    除了似然比检验,还有Wald检验、拉格朗日乘数检验都是基于最大似然估计MLE。当样本量较大时,三者是渐进等价的。

    尼曼-皮尔森引理说明,似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

    另外这个博客可以参考以下:似然函数及最大似然估计及似然比检验

    参考资料:

    《应用多元统计分析》 Wolfgang Hardle等著,陈诗一译. 北京大学出版社

    似然函数及最大似然估计及似然比检验

    似然与极大似然估计

    维基百科 - likelihood ratio test

    展开全文
  • 讲讲似然比检验

    千次阅读 2020-09-05 11:00:00
    总第239篇/张俊红前面我们讲了T检验、F检验、Q检验等。这一篇来讲讲似然比检验。在讲似然比检验之前,我们先讲两个与似然比相关的概念:似然函数与极大似然估计。似然函数说到似然函数,就不得...

    总第239篇/张俊红

    前面我们讲了T检验、F检验、Q检验等。这一篇来讲讲似然比检验。在讲似然比检验之前,我们先讲两个与似然比相关的概念:似然函数与极大似然估计。

    似然函数

    说到似然函数,就不得不说一下似然性了,似然性是与概率相对应的一个概念。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。

    我们知道正态分布的概率密度函数的中主要有两个参数:均值和标准差。如果我们知道了数据服从正态分布,也知道该分布对应的均值和标准差,这个时候我们就知道每个值发生的可能性,这就是概率;如果我们不知道分布对应的均值和标准差,但是可以观测到已经发生的一些值,那么通过已经观测到的结果值对分布对应的均值和标准差进行估计的过程就是似然性。

    已经观测到的值x与要估计的参数θ之间会构造出来一个函数,这个函数就是似然函数:L(θ|x)。

    似然函数L(θ|x)(在数值上)等于给定参数θ后变量X整体观测结果的概率,等于每一个x取值的概率乘积。

    如果已知了变量x的分布,那么每个x发生的概率就是其概率密度函数得出。

    极大似然估计

    知道什么是似然函数以后,我们再来看看什么是极大似然估计。用一句话来描述就是:极大似然估计是求取使观测到的结果概率P(X = x|θ)最大化时对应的参数θ的取值。

    其实就是求似然函数L(θ|x)最大时对应的θ值,我们知道,要求最值,一般都是对函数求导即可,这里对函数L(θ|x)求导,即可得到θ值。

    似然比检验

    了解完似然函数和极大似然估计以后,我们再来看我们今天的主题,似然比检验。

    似然比检验和其他检验思想比较类似,似然比检验的核心是根据似然比这个统计量来进行判断,其他检验是根据其他统计量来进行判断,比如t检验是根据t统计量来进行判断。

    似然比检验的原假设H0是:θ=θ0,备择假设H1:θ=θ1,其中θ0是θ1的子集。

    似然比的公式如下:

    似然比表示θ取不同值对应的似然函数的比值。如果λ很大,说明参数θ=θ1时对应的似然性要比θ=θ0时对应的似然性大。此时,更倾向于拒绝H0假设;反之,若此值较小,说明参数θ=θ0时对应的似然性要比θ=θ1时对应的似然性大,更倾向于接受H0假设。

    那λ到底大于多少算大,小于多少算小呢?这个时候就需要有个临界值λ0,如果λ>λ0,那么就拒绝H0假设。

    接下来的问题就是求取λ0,要临界值λ0,必须知道当H0成立时λ的分布,当n足够大时,λ是服从卡方分布的,知道分布,然后再根据显著性水平α就可以计算出临界值了。

    以上就是关于似然比检验相关的内容。

    展开全文
  • R语言Wald检验 vs 似然比检验

    千次阅读 2019-09-04 15:25:18
    在这篇文章中,我将修改Wald和似然比检验的优缺点。我将重点关注置信区间而不是检验 。 示例 我们将X表示观察到的成功次数的随机变量,x表示其实现的值。似然函数只是二项式概率函数,但参数是模型参数。所以ML....
  • 主要研究当一个总体的均值已知时两正态总体相等的似然比检验,构造了不同于Neyman和Pearson提出的似然比检验统计量,并获得了统计量的精确零分布。对检验统计量的第一类错误和检验功效进行了模拟分析,模拟研究表明提出...
  • 在这篇文章中,我将修改Wald和似然比检验的优缺点。我将重点关注置信区间而不是检验 。示例我们将X表示观察到的成功次数的随机变量,x表示其实现的值。似然函数只是二项式概率函数,但参数是模型参...
  • 循环平稳多天线频谱感知的广义似然比检验
  • 似然比检验(LR)、Wald检验、拉格朗日检验(LM)都基于最大似然估计(MLE),本文以logit模型为例讨论三类检验的Stata实现。不当之处,请各位指正。1、似然比检验use ...
  • 在光子噪声受限条件下的图像中,其信号和噪声均服从泊松分布并呈现散粒状态,且由于该图像信噪比较低,目标难以被探测和识别,为此提出一种基于统计理论和广义似然比检验(GLRT)的目标探测方法来解决该条件下的目标探测...
  • 请问计量经济里三大检验包括似然比检验、wald检验、拉克朗日乘数检验的思想和方法分别是什么似然比检验、wald检验、拉格朗日乘数检验都基于MLE,就大样本而言三者是渐进等价的。1、似然比检验的思想是:如果参数约束...
  • 轻轨 LRTq用于通过似然比检验来鉴定稀有变体对基因的调控作用。 要安装R软件包: library( devtools ) install_github( " avallonking/LRTq " ) 使用方法: library( LRTq ) ? LRTq
  • UA MATH566 统计理论7 似然比检验Karlin-Rubin定理 Neyman-Pearson Lemma指出似然比检验是UMP检验,但第五讲只讨论了原假设和备择假设各只有一种取值的检验: H0:θ=θ0Ha:θ=θ1 H_0:\theta = \theta_0 \\ H_a:\...
  • 改进的广义似然比检验,用于检测穿墙寿命检测中的常规呼吸信号
  • 广义似然比检验( Generalized Likelihood Ratio Test ) - 统计之都第五章 假设检验Hypothesis Testing 数理统计课题组 本章大纲 假设检验的基本概念 Neyman-Pearson范式 和假设检验有关的两个问题 广义似然比检验 单...
  • 我个人对似然比检验这个问题的研究是从数学课上老师留的作业开始的(上课时老师并没有深入讲,两道作业题笔者和好多同学都没有做对),针对似然比检验方法网上的资料较少,且仅限于单个总体的讨论。尽管两正态总体的...
  • 文章目录学习目标似然比检验(LRT)结果探索results()表为什么在LRT检验中会出现倍数变化?鉴定显著基因识别具有共享表达谱的基因簇 学习目标 使用LRT提取结果,并与Wald检验进行比较 从LRT显著基因列表中识别共享表达...
  • 我们提出了使用家族数据进行遗传异质性下全基因组连锁分析的似然比检验。 我们为LRT测试统计量导出一个封闭式公式,并提供显式渐近零分布。 闭合形式的渐近分布允许轻松确定渐近p值。 我们广泛的模拟研究表明,提出...
  • 似然比检验 - 嵌套模型 变量显著性

    千次阅读 2018-11-21 16:51:00
    由一个入学Program是否真正有用引起的,两个线性回归模型的似然比检验。两个模型是嵌套的关系。 参考文章1:(思路) http://blog.sina.com.cn/s/blog_6e60da090102uxzo.html 参考文章2:(感觉更加清晰) ...
  • 本文简要介绍多元正态总体均值的区间估计,并提出假设检验的一种重要方法——似然比检验
  • 为挖掘道路交通流中的异常模式,辅助判定路网中发生的非预期事件,Pang 等人[68]提出了带参数的基于似然比检验统计量的异常检测方法,识别明显偏离期望行为的邻近网格单元集以及时段区域. 首先统计一定时间内各网格到达...
  • 计量中检验的一般套路是以 p-value 显著、拒绝原假设为理想情况,然而总有几个检验的假设是不按套路出牌的。Hansen 检验算一个,LR 检验算第二个。Stata 应用LR 检验可用于模型的比较和选择,用法与 Hausman 检验...
  • 上一篇笔记传送门:数理统计|笔记整理(A)——假设检验进阶:似然比视角再看假设检验下一...在这一节呢,我们会继续介绍似然比检验的相关内容,并且在我们介绍完假设检验之后,将引入区间估计的相关内容。我们花了...
  • 关于似然比检验的具体应用,详见条目“频数分布的拟合优度”、“两样本率比较”、“多个样本率比较”、“样本构成比的比较”以及“计数资料的相关分析”等。 (王翠香编 .概率统计 :北京大学出版社 ,...
  • 提出的图像分割新算法利用当图像分辨率改变时,不同目标斑点模式变化方式的不同以及相邻图像尺度间的Markov性,推导得出了多尺度似然比的表达式;该方法同时考虑了多尺度自回归(MAR)模型产生的残差信息和较粗尺度...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 143
精华内容 57
关键字:

似然比检验