精华内容
下载资源
问答
  • 互信息理解

    2018-04-10 22:22:48
    互信息指的是两个随机变量之间的关联程度,即给定一个随机变量后,另一个随机变量不确定性的削弱程度,因而互信息取值最小为0,意味着给定一个随机变量对确定一另一个随机变量没有关系,最大取值为随机变量的熵,...
    互信息指的是两个随机变量之间的关联程度,即给定一个随机变量后,另一个随机变量不确定性的削弱程度,因而互信息取值最小为0,意味着给定一个随机变量对确定一另一个随机变量没有关系,最大取值为随机变量的熵,意味着给定一个随机变量,能完全消除另一个随机变量的不确定性

    这是我在知乎上看到我最想要的结果。 我怕自己下次又找,所以写了这个博客    
    感谢知乎作者:maple
    链接:https://www.zhihu.com/question/24059517/answer/37430101

    来源:知乎


    以及这位作者给出的关于      互信息的理解      文章中给出了公式推导




    展开全文
  • 在概率论,尤其是信息论中,条件互信息的基本形式是在给定第三个变量值的情况下,两个随机变量互信息的期望值。 对于离散随机变量X,Y,Z,其条件互信息为: 用图形表示条件互信息为: 具体的定义等后续补充。 ...

    在概率论,尤其是信息论中,条件互信息的基本形式是在给定第三个变量值的情况下,两个随机变量互信息的期望值。

    对于离散随机变量X,Y,Z,其条件互信息为:

    用图形表示条件互信息为:

    具体的定义等后续补充。 

    展开全文
  • 互信息、条件互信息

    千次阅读 2018-11-05 16:03:37
    参考两个博客 互信息概念与定理 互信息理解 但第2中公式的变形,实在没看懂,于是推导部分参考wiki,或者这篇

    start:
    西瓜书7.3

    then:
    在这里插入图片描述
    参考两个博客

    1. 互信息概念与定理

    2. 互信息的理解

    但第2中公式的变形,实在没看懂,于是推导部分参考wiki,或者这篇
    在这里插入图片描述

    参考资料和定义
    (信息论)
    条件熵
    互信息

    展开全文
  • 互信息量的理解

    千次阅读 2018-05-26 14:39:49
    我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题上,而引入信息论中的互信息量,我们不仅可以说明随机变量X与Y之间是否相关,更可以反映随机变量之间相关性的强弱。我们定义信源X发出的消息 a i 通过信道后,...

    在概率论中对于两个随机变量X与Y,我们定义若两个随机变量X,Y满足
    P(X,Y)=P(X)P(Y)
    则我们说随机变量X,Y独立。我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题上,而引入信息论中的互信息量,我们不仅可以说明随机变量X与Y之间是否相关,更可以反映随机变量之间相关性的强弱。我们定义信源X发出的消息ai通过信道后,信宿Y只可能收到由于干扰作用引起的某种变型bj,我们将由新宿收到bj后推测信源发出ai的概率p(ai | bj)称为后验概率,p(ai)称为先验概率,此时定义bjai的互信息量为

    上式可化为
     
    下面我们将不通过数学推导,仅从物理含义解释互信息量。
    首先我们已知条件自信息量I(ai|bj)在数值上与该事件所包含的不确定度相同,但两者的含义是不同的;不确定度表示含有多少信息,信息量表示随机事件发生后可以得到多少信息。
    从不确定度的角度来看,上式中我们可以知道互信息量就是在对bj一无所知的条件下ai存在的不确定度与引入bj后ai仍存在的不确定度之差,就是引入bj后不确定度被消除的部分,也就是通过bj我们确定下来的信息,即我们通过bj获得的对ai的信息量。
    从信息量的角度看时,I(ai)是对bj一无所知的情况下发生ai后我们获得的信息量,I(ai|bj)是引入bj后发生ai我们获得的信息量。不难想象,当bj与ai毫无相关性,即相互独立时,此时p(ai | bj)=p(ai), I(ai|bj)=I(ai)我们通过信宿收到的bj是无法推测信源是否发出了ai,即通过引入bj来推测ai所得到的信息量是为0的,则此时互信息量为0,相当于信道不传递任何信息,可以看做信道断开;而如果bj与ai是一一对应的关系,即我们在信宿接收到bj时我们能完全确定信源就是ai,此时p(ai | bj)=1, I(ai|bj)=0,此时的互信息量最大且等于I(ai)。
    在思考信息量的时候我曾有一个误区,总是不经意间把信息量I(ai|bj)当做在在bj发生时我们对ai所确定下来的东西,而实际恰恰相反,信息量是未知的,信息量I(ai|bj)是不确定的信息,可以看做是信宿为bj时信源为ai的惊讶度,正因为有惊讶度的存在,所以才会有从bj得到关于ai的信息量。这样也解释了上述的所有问题,若bj和ai一一对应,我们通过bj可以完全确定ai,则我们收到bj时对ai没有任何的未知,故I(ai|bj)=0。当bj和ai相互独立的时候,就算知道bj也对ai没有任何帮助,所以面对bj和ai都是一样的未知,故I(ai|bj)=I(ai)
    所以bj对ai的互信息量是通过bj对ai确定下来的信息,是信源ai通过信道传递到信宿这个过程中流经信道的信息量


    展开全文
  • 信息熵,条件熵,互信息的通俗理解

    万次阅读 多人点赞 2017-11-06 16:16:24
    信息(self-information): I(x)= = - log(p(x)) (1) 式中的log表示自然对数, 如果用以2为底的对数,单位是比特(bit)。 上式是什么意思?p(x)是指x发生的概率,I(x)代表x所包含的信息量。考虑这么...
  • 互信息理解与推导

    千次阅读 2018-03-04 15:58:24
    转自切问路 by Z.H. Fu我们在之前研究过两个随机变量的独立性,我们定义若两个随机变量X,YX,Y满足 P(X,Y)=P(X)P(Y)P(X,Y)=P(X)P(Y)则我们说...下面来直观地理解这个公式,可以发现,如果X,YX,Y独立,那么已知XX,...
  • 好不容易理解了信息熵的概念后,又发现还有其他各种熵,经常把人绕晕,比如决策树模型中要计算信息增益(其实就是互信息),最大熵模型中要计算条件熵,下面我们就来用5分钟理解互信息,条件熵,联合熵。...
  • 互信息的深度理解(总结的不错值得一看)

    万次阅读 多人点赞 2018-07-30 09:37:37
    1.互信息的定义  正式地,两个离散随机变量 X 和 Y 的互信息可以定义为:  其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。  在连续随机变量的...
  • 如何理解归一化互信息

    千次阅读 2020-04-26 13:07:21
    我们暂时把信息看做在学习x的值时候的”惊讶程度”(这样非常便于理解且有意义).当我们知道一件必然会发生的事情发生了,比如往下掉的苹果.我们并不惊讶,因为反正这件事情会发生,因此可以认为我们没有接收到信息.但是...
  • 互信息

    千次阅读 2018-04-03 13:06:57
    我们可以有线性相关系数(皮尔逊积矩相关系数)、卡方检验(此处不谈)和互信息这几个指标来进行量化。 使用线性相关系数的前提自变量与因变量是线性关系,取值范围为[-1,1],负数表示负相关: ρx,y=cov(X,Y)σX,σ...
  • 互信息和点互信息

    2019-03-07 21:55:49
    互信息和点互信息 创建日期 星期四 07 三月 2019 点互信息PMI(Pointwise Mutual Information) 点互信息就是很亮两个失误的相关性, 在概率论中,我们知道,如果x跟y不相关,则p(x,y)=p(x)p(y)。二者相关性越大,则...
  • 信息论:熵与互信息

    万次阅读 多人点赞 2016-11-25 21:18:43
    这篇文章主要讲:熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。 ...
  • 互信息 通过上图可以看出,所谓互信息就是两个事件都有的信息量。 于是,在互信息定义的基础上使用jessen不等式,我们可以证明 是非负的,因此 ,这里我们给出 的详细推导: 上面其他性质的证明类似。  ...
  • 互信息介绍

    千次阅读 2019-01-05 10:48:05
    是什么–互信息的定义是什么,如何理解; 怎么办–如何进行互信息的计算,具体的示例; 1.2 背景 不知道大家有没有看过《非诚勿扰》这个电视相亲节目?非诚勿扰节目中,如果男嘉宾经历了千辛万苦还没有被女嘉宾灭完...
  •  信息论,就是用数理统计方法研究信息的基本性质以及度量方法,研究最佳解决信息的摄取、传输、存贮、处理和变换的一般规律的科学。它的成果将为人们广泛而有效地利用信息提供基本的技术方法和必要的...
  • sklearn:点互信息互信息

    万次阅读 2017-06-03 00:07:53
    1、点互信息PMI 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个 词)。 其原理很简单,公式如下: 在概率论中,我们知道,如果x跟y不...
  • 好久没更新博客了,最近在学习python的贝叶斯网络构造,卡在k2算法给无向图打分这一步很久了,然后...文章知识大部分摘自 通俗理解条件熵 (代码为原创,转载请标明!) 1 信息熵以及引出条件熵 1.1 信息信息熵...
  • 信息论中,熵(entropy)是表示随机变量不确定性的度量,如果一个事件是必然发生的,那么他的不确定度为0,不包含信息。假设XXX是一个取有限个值的离散随机变量,其概率分布为: P(X=xi)=piP(X=x_i)=p_iP(X=xi​)...
  • 互信息互信息互信息PMI 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个词)。 其原理很简单,公式如下: 在概率论中,我们...
  • 互信息链式法则

    千次阅读 2018-04-13 10:11:16
    1、2、3、互信息非负。从Y得到X的信息,无关时,互信息最小,为0;
  • 研究了下sklearn.feature_selection()中参考的Estimating Mutual Information论文与Mutual Information between Discrete and Continuous Data Sets论文,整理一篇基于k-最近邻的互信息算法。
  • 互信息——事件相关性度量

    千次阅读 2017-07-03 23:25:08
    理解互信息
  • 最大互信息系数

    千次阅读 2019-12-22 18:54:15
    对最大互信息系数的一些思考 最大互信息系数(MIC) MIC(Maximal Information Coefficient)最大互信息系数。用来衡量两个特征变量之间的关联程度(线性或非线性关系),相较于Mutual Information(MI)互信息而言...
  • 互信息图像配准

    千次阅读 多人点赞 2015-12-24 22:56:50
    图像配准是为了解决两幅不同来源的图像匹配问题。例如,楼外的一颗大树开花了,小明路过觉得好看,就拿相机拍了一张照片。结果回屋拷出来一看不满意,于是小明从窗户...互信息配准算法是解决此问题较好的方法之一。它是
  • 条件自信息跟互信息区别简述

    千次阅读 2018-06-28 15:01:13
    互信息互信息的话,并没有想象中的那么独立。其实,在互信息的定义中,就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式,不难直接退出一个跟自信息相关的公式。 I(X...
  • 图像配准中的互信息

    千次阅读 2015-04-13 10:38:41
    声明本文主体部分参考 胡永祥 基于互信息的多模态医学图像非刚性配准研究[D] 中南大学 2012 对其中部分不清晰及符号使用问题进行了调整。 旨在对图像配准过程中使用的互信息及其梯度计算进行大致了解。 疏漏之处...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 58,692
精华内容 23,476
关键字:

互信息怎么理解