精华内容
下载资源
问答
  • 对数模型解释
    万次阅读 多人点赞
    2017-09-13 14:33:59

    最大熵模型中的对数似然函数的解释

    最近在学习最大熵模型,看到极大似然估计这部分,没有看明白条件概率分布 p ( y ∣ x ) p(y|x) p(yx)的对数似然函数。上网查了很多资料都没有一个合理的解释。基本直接给出对数似然函数的一般形式:
    L p ‾ = ∏ x p ( x ) p ‾ ( x ) . L_{\overline{p}}=\prod_{x} p(x)^{\overline{p}(x)}. Lp=xp(x)p(x).
    其实并没有解决问题。为了方便以后其他人的学习和理解,我结合自己的理解给出完整的解释。
    其实第一眼之所以不理解,因为这是最大似然函数的另外一种形式。一般书上描述的最大似然函数的一般形式是各个样本集 X X X中各个样本的联合概率:
    L ( x 1 , x 2 , . . . , x n ; θ ) = ∏ i = 1 n p ( x i ; θ ) . L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^{n} p(x_i;\theta). L(x1,x2,...,xn;θ)=i=1np(xi;θ).
    其实这个公式和上式是等价的。 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn是样本具体观测值。随机变量 X X X是离散的,所以它的取值范围是一个集合,假设样本集的大小为 n n n X X X的取值有 k k k个,分别是 v 1 , v 2 , . . . , v k v_1,v_2,...,v_k v1,v2,...,vk。用 C ( X = v i C(X=v_i C(X=vi)表示在观测值中样本 v i v_i vi出现的频数。所以 L ( x 1 , x 2 , . . . , x n ; θ ) L(x_1,x_2,...,x_n;\theta) L(x1,x2,...,xn;θ)可以表示为:
    L ( x 1 , x 2 , . . . , x n ; θ ) = ∏ i = 1 k p ( v i ; θ ) C ( X = v i ) . L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^{k} p(v_i;\theta)^{C(X=v_i)}. L(x1,x2,...,xn;θ)=i=1kp(vi;θ)C(X=vi).
    对等式两边同时开 n n n次方,可得
    L ( x 1 , x 2 , . . . , x n ; θ ) 1 n = ∏ i = 1 k p ( v i ; θ ) C ( X = v i ) n . L(x_1,x_2,...,x_n;\theta)^{\frac{1}{n}}=\prod_{i=1}^{k} p(v_i;\theta)^{\frac{C(X=v_i)}{n}}. L(x1,x2,...,xn;θ)n1=i=1kp(vi;θ)nC(X=vi).
    因为经验概率 p ‾ ( x ) = C ( X = v i ) n \overline{p}(x)=\frac{C(X=v_i)}{n} p(x)=nC(X=vi),所以简写得到:
    L ( x 1 , x 2 , . . . , x n ; θ ) 1 n = ∏ x p ( x ; θ ) p ‾ ( x ) . L(x_1,x_2,...,x_n;\theta)^{\frac{1}{n}}=\prod_{x} p(x;\theta)^{\overline{p}(x)}. L(x1,x2,...,xn;θ)n1=xp(x;θ)p(x).
    很明显对 L ( x 1 , x 2 , . . . , x n ; θ ) L(x_1,x_2,...,x_n;\theta) L(x1,x2,...,xn;θ)求最大值和对 L ( x 1 , x 2 , . . . , x n ; θ ) 1 n L(x_1,x_2,...,x_n;\theta)^{\frac{1}{n}} L(x1,x2,...,xn;θ)n1求最大值的优化的结果是一样的。整理上式所以最终的最大似然函数可以表示为:
    L ( x ; θ ) = ∏ x p ( x : θ ) p ‾ ( x ) . L(x;\theta)=\prod_{x} p(x:\theta)^{\overline{p}(x)}. L(x;θ)=xp(x:θ)p(x).
    忽略 θ \theta θ,更一般的公式就是本文的第一个公式。结合公式一,参考v_JULY_v博客中的最大熵模型中的数学推导(http://m.blog.csdn.net/v_july_v/article/details/40508465),可得到联合概率密度的似然函数,即最大熵中的对数似然函数:
    L p ‾ = log ⁡ ∏ x , y p ( x , y ) p ‾ ( x , y ) = ∑ x , y p ‾ ( x , y ) log ⁡ p ( x , y ) = ∑ x , y p ‾ ( x , y ) log ⁡ [ p ‾ ( x ) p ( y ∣ x ) ] = ∑ x , y p ‾ ( x , y ) log ⁡ p ( y ∣ x ) + ∑ x , y p ‾ ( x , y ) log ⁡ p ‾ ( x ) \begin{aligned} L_{\overline{p}} &=\log\prod_{x,y} p(x,y)^{\overline{p}(x,y)} \\ &=\sum_{x,y}{\overline{p}(x,y)}\log p(x,y)\\ &=\sum_{x,y}{\overline{p}(x,y)}\log [{\overline{p}(x)}p(y|x)] \\ &=\sum_{x,y}{\overline{p}(x,y)}\log p(y|x)+\sum_{x,y}{\overline{p}(x,y)}\log {\overline{p}(x)} \end{aligned} Lp=logx,yp(x,y)p(x,y)=x,yp(x,y)logp(x,y)=x,yp(x,y)log[p(x)p(yx)]=x,yp(x,y)logp(yx)+x,yp(x,y)logp(x)
    上述公式第二项是一个常数项(都是样本的经验概率),一旦样本集确定,就是个常数,可以忽略。所以最终的对数似然函数为:
    L p ‾ = ∑ x , y p ‾ ( x , y ) log ⁡ p ( y ∣ x ) . L_{\overline{p}}=\sum_{x,y}{\overline{p}(x,y)}\log p(y|x). Lp=x,yp(x,y)logp(yx).
    上式就是最大熵模型中用到的对数似然函数。

    更多相关内容
  • 运用多项式分对数模型对所提取的时空数据进行统计分类分析,依托特征参数建立交通状态多项K一Logit指数模型。结合快速路匝道控制措施。采用vISsIM COM与VC++6.O为仿真平台,对实验数据进行仿真,结果表明:分对数...
  • 西班牙语:在墨西哥,很少有人研究业务增长现象。 目的是确定哪些指标会影响发布饮料行业的墨西哥公司的销售增长。 该方法是采用纵向方法的两个案例研究。 根据2010年至2016年的年度财务报告收集的定量数据是销售,...
  • 基于双对数模型的广州市居民用水需求弹性分析,毕志化,郭海华,1980~2010年,广州市的居民生活用水价格经过7次上调,由最初的0.12元/立方米上调到现在的1.32元/立方米,平均每年上涨8.32%。根据双对数�
  • 第13章 SPSS的对数线性模型.pdf
  • LMDI(对数平均迪氏指数法)模型!含stata代码以及计算参考文献! 1、数据来源:见对应参考文献 2、时间跨度:无 3、区域范围:全国 4、指标说明: 分享文件里面包括stata的程序文件(ado、pkg、sthlp)、案例数据、...
  • 中科大对数线性模型读书笔记,数据预处理的使用场景。
  • 第18章 对数线性模型.ppt
  • 错误指定对Weibull模型对数正态模型之间均值和选择的影响
  • 对数签名RNN模型

    2021-02-17 13:13:31
    对数签名RNN模型
  • 无线信道模型距离与路径损耗的仿真分析包括自由空间传播模型,远距离传播模型对数正态分布模型+含代码操作演示视频 运行注意事项:使用matlab2021a或者更高版本测试,运行里面的Runme.m文件,不要直接运行子函数...
  • 他们展示了对数距离无线电传播模型的非线性回归分析(最小二乘优化)。 您需要实际的测量来运行它。 以CSV格式提供了一组大约1000个根据经验收集的信号强度测量值。 您只需要在 MATLAB 和 Python 中运行“log_...
  • 马氏状态转移对数正态模型参数的区间估计很难得到。文章提出的Bootstrap法不仅能在Excel环境下克服似然函数关于参数求导以及求导后对随机变量求期望的困难,而且能弥补使用费希尔信息量的倒数I(Θ)-1低估估计量波动的...
  • 以航运市场中重要船型-好望角型散货船为研究对象,在分析相关可量化因素与新船价格关系的基础之上,构建双对数线性回归模型分析各因素对新船船价的影响程度,发现对于新造好望角型散货船而言,二手船船价、新造船...
  • 为克服传统对数图像处理模型在边缘检测中存在的边缘定位不准确、检测精度差等缺点,对其进行了改进,并采用实拍复杂背景条件下红外机场跑道进行了边缘检测试验,结果表明,改进后算法的目标边缘检测精度明显提高,...
  • 对数转换后变量解释

    千次阅读 2021-04-03 00:23:26
    将变量对数转换后,如何解释这个变量的影响呢? 答: 对数转换后可分为双对数和半对数模型,系数解释如下: 原地址:https://www.zhihu.com/question/379297282

    1.EViews取对数:genr lny=log(y)
    genr lnArea=log(mj)
    genr lnPreArea=log(mjlast)

    2.将变量对数转换后,如何解释这个变量的影响呢?
    答:
    对数转换后可分为双对数和半对数模型,系数解释如下:
    在这里插入图片描述
    在这里插入图片描述
    原地址:https://www.zhihu.com/question/379297282
    3.数据处理时0或者负数无法取对数怎么办?
    答:在这里插入图片描述
    原地址:http://blog.sina.com.cn/s/blog_73497c230102uy6f.html

    展开全文
  • 对数线性模型》是最好的对数线性模型教学材料之一,不仅讨论了一般对数线性模型,还讨论了logit模型,这一模型通过分析作为自变量函数的因变量的期望发生比来检验自变量与因变量之间的关系。作者从处理二分变量的...
  • 对数线性模型.doc

    2021-12-25 11:22:22
    对数线性模型.doc
  • 高校学生互联网投资理财影响因素的对数线性模型分析.pdf
  • 粒度分析中混合φ正态模型与混合对数正态模型的关系,郑海龙,刘小军,本文研究了沉积物粒度分析中的混合φ正态模型与混合对数正态模型之间的关系。作者用概率论基础知识证明两种模型是一致的。根据这�
  • 对数正态泊松回归模型 运行Hess等人的对数正态泊松回归模型的代码。 2019,“癌症中的乘客热点突变”() 此仓库中有什么? 该存储库包含用于运行贝叶斯对数正态泊松(LNP)回归的MATLAB函数。 我们包括代码,既可以...
  • 通过更精确的先验估计,利用重合度理论中的连续定理,研究了一类时滞种群模型的周期解,获得了这类模型存在正周期解的充分条件,所得结果推广了文[1]中的有关结论,并使条件有所减弱。
  • 该软件包将时间强度数据与对数正态灌注模型 [2,3] 拟合。 Run_logperf_fit.m 使模型适合样本数据,并可用作任意中断补充数据的模板。 参考: [1] 魏等。 用超声诱导的微泡破坏作为恒定静脉输注对心肌血流进行...
  • 基于对数距离路径损耗模型下的路径损耗指数研究
  • https://blog.csdn.net/Yyuanyuxin/article/details/109176493,效果如博客所示,为双对数坐标的折线图绘制,已封装成控件,可直接使用,带源码,没添加的属性,也可直接修改添加。
  • 行业分类-电子-关于忆感器对数模型等效电路的说明分析.rar
  • 回归模型对数变换的含义

    千次阅读 2020-06-23 18:32:44
    1 精确解释 1.1 因变量采用对数变换 ln(y^)=β0+β1×xln(\hat y)=\beta_0 +\beta_1 \times xln(y^​)=β0​+β1​×x x→x+1;y^1→y^2x \to x+1; \hat y_1 \to \hat y_2x→x+1;y^​1​→y^​2​ {y^1=eβ0+β1×xy^...

    1 精确解释

    1.1 因变量采用对数变换

    l n ( y ^ ) = β 0 + β 1 × x ln(\hat y)=\beta_0 +\beta_1 \times x ln(y^)=β0+β1×x
    x → x + 1 ; y ^ 1 → y ^ 2 x \to x+1; \hat y_1 \to \hat y_2 xx+1;y^1y^2

    { y ^ 1 = e β 0 + β 1 × x y ^ 2 = e β 0 + β 1 × ( x + 1 ) \begin{cases} \hat y_1=e^{\beta_0 +\beta_1 \times x}\\ \hat y_2=e^{\beta_0 +\beta_1 \times (x+1)} \end{cases} {y^1=eβ0+β1×xy^2=eβ0+β1×(x+1)

    y ^ 2 y ^ 1 = e β 0 + β 1 × ( x + 1 ) e β 0 + β 1 × x = e [ β 0 + β 1 × ( x + 1 ) ] − [ β 0 + β 1 × x ] = e β 1 \begin{aligned} &\frac{\hat y_2}{\hat y_1}\\ &=\frac{e^{\beta_0+\beta_1 \times (x+1)}}{e^{\beta_0+\beta_1 \times x}}\\ &=e^{[\beta_0+\beta_1 \times (x+1)]-[\beta_0+\beta_1 \times x]}\\ &=e^{\beta_1} \end{aligned} y^1y^2=eβ0+β1×xeβ0+β1×(x+1)=e[β0+β1×(x+1)][β0+β1×x]=eβ1

    结论

    • x x x每增加一个单位变为 x + 1 x+1 x+1 y ^ \hat y y^变为原来的 e β 1 e^{\beta_1} eβ1
    • x x x每增加一个单位变为 x + 1 x+1 x+1 y ^ \hat y y^相比原来增加 [ e β 1 − 1 ] × 100 % [e^{\beta_1}-1]\times 100\% [eβ11]×100%

    1.2 自变量采用对数变换

    y ^ = β 0 + β 1 × l n ( x ) \hat y=\beta_0+\beta_1 \times ln(x) y^=β0+β1×ln(x)
    x → e × x ; y ^ 1 → y ^ 2 x \to e\times x; \hat y_1 \to \hat y_2 xe×x;y^1y^2
    { y ^ 1 = β 0 + β 1 × l n ( x ) y ^ 2 = β 0 + β 1 × l n ( e × x ) \begin{cases} \hat y_1=\beta_0+\beta_1 \times ln(x)\\ \hat y_2=\beta_0+\beta_1 \times ln(e \times x) \end{cases} {y^1=β0+β1×ln(x)y^2=β0+β1×ln(e×x)

    y ^ 2 − y ^ 1 = [ β 0 + β 1 × l n ( e × x ) ] − [ β 0 + β 1 × l n ( x ) ] = [ β 0 + β 1 × ( l n ( e ) + l n ( x ) ) ] − [ β 0 + β 1 × l n ( x ) ] = [ β 0 + β 1 × l n ( e ) + β 1 × l n ( x ) ] − [ β 0 + β 1 × l n ( x ) ] = β 1 × l n ( e ) = β 1 \begin{aligned} &\hat y_2-\hat y_1 \\ &=[\beta_0+\beta_1 \times ln(e \times x)]-[\beta_0+\beta_1 \times ln(x)]\\ &=[\beta_0+\beta_1 \times (ln(e)+ln(x))]-[\beta_0+\beta_1 \times ln(x)]\\ &=[\beta_0+\beta_1 \times ln(e)+\beta_1 \times ln(x)]-[\beta_0+\beta_1 \times ln(x)]\\ &=\beta_1 \times ln(e)\\ &=\beta_1 \end{aligned} y^2y^1=[β0+β1×ln(e×x)][β0+β1×ln(x)]=[β0+β1×(ln(e)+ln(x))][β0+β1×ln(x)]=[β0+β1×ln(e)+β1×ln(x)][β0+β1×ln(x)]=β1×ln(e)=β1
    结论

    • x x x变为原来的 e e e倍后,则 y ^ \hat y y^增加 β 1 \beta_1 β1
    • 如果使用以2为底的对数变换,则 x x x变为原来的2倍后, y ^ \hat y y^增加 β 1 \beta_1 β1

    1.3 因变量和自变量同时采用对数变换

    l n ( y ^ ) = β 0 + β 1 × l n ( x ) ln(\hat y)=\beta_0 +\beta_1\times ln(x) ln(y^)=β0+β1×ln(x)
    x → k × x ; y ^ 1 → y ^ 2 x \to k \times x; \hat y_1 \to \hat y_2 xk×x;y^1y^2
    { y ^ 1 = e β 0 + β 1 × l n ( x ) y ^ 2 = e β 0 + β 1 × l n ( k × x ) \begin{cases} \hat y_1=e^{\beta_0+\beta_1\times ln(x)}\\ \hat y_2=e^{\beta_0+\beta_1\times ln(k \times x)} \end{cases} {y^1=eβ0+β1×ln(x)y^2=eβ0+β1×ln(k×x)

    y ^ 2 y ^ 1 = e β 0 + β 1 × l n ( k × x ) e β 0 + β 1 × l n ( x ) = e [ β 0 + β 1 × l n ( k × x ) ] − [ β 0 + β 1 × l n ( x ) ] = e [ β 0 + β 1 × l n ( k ) + β 1 × l n ( x ) ] − [ β 0 + β 1 × l n ( x ) ] = e β 1 × l n ( k ) = [ e l n ( k ) ] β 1 = k β 1 \begin{aligned} &\frac{\hat y_2}{\hat y_1}\\ &=\frac{e^{\beta_0+\beta_1\times ln(k \times x)}}{e^{\beta_0+\beta_1\times ln(x)}}\\ &=e^{[\beta_0+\beta_1\times ln(k \times x)]-[\beta_0+\beta_1\times ln(x)]}\\ &=e^{[\beta_0+\beta_1 \times ln(k)+\beta_1 \times ln(x)] - [\beta_0+\beta_1\times ln(x)]}\\ &=e^{\beta_1 \times ln(k)}\\ &=[e^{ln(k)}]^{\beta_1}\\ &=k^{\beta_1} \end{aligned} y^1y^2=eβ0+β1×ln(x)eβ0+β1×ln(k×x)=e[β0+β1×ln(k×x)][β0+β1×ln(x)]=e[β0+β1×ln(k)+β1×ln(x)][β0+β1×ln(x)]=eβ1×ln(k)=[eln(k)]β1=kβ1
    结论

    • x x x变为原来的 k k k倍, y ^ \hat y y^变为原来的 k β 1 k^{\beta_1} kβ1
    • x x x变为原来的 k k k倍, y ^ \hat y y^增加 [ k β 1 − 1 ] × 100 % [k^{\beta_1} - 1]\times 100\% [kβ11]×100%

    2 粗略解释

    2.1 e β − 1 e^{\beta} - 1 eβ1 β \beta β的关系

    library(ggplot2)
    library(latex2exp)
    
    x <- seq(0, 0.5, 0.001)
    y1 <- x
    y2 <- exp(x) - 1
    df <- data.frame(x = x, y1 = y1, y2 = y2)
    
    ggplot(data = df) +
      geom_line(aes(x = x, y = y1, color = "beta"), size = 1) +
      geom_line(aes(x = x, y = y2, color = "exp(beta)-1"), size = 1) +
      labs(x = TeX('$\\beta$'), y = "Y") + 
      theme_classic()
    

    结论

    • β \beta β较小时, e β − 1 e^{\beta}-1 eβ1 β \beta β的值接近

    2.2 因变量采用对数变换

    l n Y = β 1 + β 2 t lnY=\beta_1+\beta_2t lnY=β1+β2t
    β 2 = d ( l n Y ) d t = d Y / Y d t \beta_2=\frac{d(lnY)}{dt}=\frac{dY/Y}{dt} β2=dtd(lnY)=dtdY/Y
    总结

    • β 2 \beta_2 β2测度了 Y Y Y的瞬时变化率
    • β 2 \beta_2 β2可粗略解释为: t t t每增加1个单位, Y Y Y增加 β 2 × 100 % \beta_2 \times 100\% β2×100%,如年均增长率。( e β 2 − 1 ≈ β 2 e^{\beta_2}-1\approx\beta_2 eβ21β2;当 β 2 \beta_2 β2较小时)

    2.3 自变量采用对数变换

    Y = β 1 + β 2 × l n x Y=\beta_1+\beta_2 \times lnx Y=β1+β2×lnx
    β 2 = d Y d ( l n x ) = d Y d x / x \beta_2=\frac{dY}{d(lnx)}=\frac{dY}{dx/x} β2=d(lnx)dY=dx/xdY
    总结

    • β 2 \beta_2 β2测度了 x x x轻微变化(百分比变化)后 Y Y Y的绝对变化量
    • β 2 \beta_2 β2可粗略解释为:当 x x x变化 1 % 1\% 1%时, Y Y Y绝对变化 0.01 × β 2 0.01\times \beta_2 0.01×β2

    2.4 因变量和自变量同时采用对数变换

    l n ( Y ) = β 1 + β 2 × l n x ln(Y)=\beta_1 +\beta_2\times lnx ln(Y)=β1+β2×lnx
    β 2 = d ( l n Y ) d ( l n x ) = d Y / Y d x / x \beta_2=\frac{d(lnY)}{d(lnx)}=\frac{dY/Y}{dx/x} β2=d(lnx)d(lnY)=dx/xdY/Y
    总结

    • β 2 \beta_2 β2测度了 Y Y Y x x x的弹性,如 Y Y Y为某商品的需求量, x x x为该商品价格, β 2 \beta_2 β2为需求的价格弹性
    • β 2 \beta_2 β2可粗略解释为: x x x变动 1 % 1\% 1%引起 Y Y Y变动的百分数
    展开全文
  • matlab开发-跨区域系统间隔层的其他非对数正态模型。反向调用转换计算阴影速率
  • 利用模型试验结果验证了解答的可靠性,并分析了真空度衰减和土性参数对固结性状的影响.研究结果表明,考虑了真空荷载衰减及双对数坐标的解答计算得到的土体沉降、超静孔压与实测值最为接近.对于超固结土而言,基于变形...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 85,115
精华内容 34,046
热门标签
关键字:

对数模型解释