精华内容
下载资源
问答
  • 信息量的单位有哪些
    千次阅读
    2021-06-03 19:17:56

    信息量的基本单位
    一则离散消息所含信息量可表示为
    I=-LOGaP(P表示消息发生的概率,a表示进制的信息量单位、决定了信息量的单位)
    一般有
    a=2,单位为 bit
    a=e,单位为nat(奈特)
    a=10,单位为Hartley(哈特莱)

    更多相关内容
  • 数据量单位

    千次阅读 2020-06-29 21:28:42
    按顺序给出数据存储单位: bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T

     按顺序给出数据存储单位:

    • bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
    • 1Byte = 8bit  
    • 1K = 1024Byte  
    • 1MB = 1024K
    • 1G = 1024M  
    • 1T = 1024G      
    • 1P = 1024T
    展开全文
  • 定义:在随机变量X中,事件x的(自)信息量I(X=x)I(X=x)I(X=x)简写为I(x)=−log2p(x)I(x)=−log_2 p(x)I(x)=−log2​p(x),单位bitbitbit。 可见,概率越小,信息量越大;概率越大,信息量越小。 2. 特性

    读论文时,发现关于信息论一无所知的样子,基本概念十分混淆,下面是一些基本概念及对应的理解~

    一. 信息量

    1. 定义

    信息量是对事件的不确定性的度量,单位bit。

    定义:在随机变量X中,事件x的(自)信息量 I ( X = x ) I(X=x) I(X=x)简写为 I ( x ) = − l o g 2 p ( x ) I(x)=−log_2 p(x) I(x)=log2p(x),单位 b i t bit bit

    可见,概率越小,信息量越大;概率越大,信息量越小。

    2. 特性

    (摘自曹雪红编著的《信息论与编码》)

    1. p ( x ) = 1 , I ( x ) = 0 p(x)=1,I(x)=0 p(x)=1,I(x)=0;

    2. p ( x ) = 0 , I ( x ) = ∞ p(x)=0,I(x)=\infty p(x)=0,I(x)=

    3. 若两个事件x,y同时出现,可以用联合概率 p ( x , y ) p(x,y) p(x,y)来表示他们同时发生的概率。这时,x,y同时出现这个联合事件(x,y)的自信息量为 I ( x , y ) = − l o g 2 p ( x , y ) I(x,y)=−log2p(x,y) I(x,y)=log2p(x,y);当x和y相互独立时 p ( x , y ) = p ( x ) p ( y ) p(x,y)=p(x)p(y) p(x,y)=p(x)p(y) ,那么就有 I ( x , y ) = I ( x ) + I ( y ) I(x,y)=I(x)+I(y) I(x,y)=I(x)+I(y)

    4. 若两个事件的出现不是独立的,而是有相互联系的,则可以用条件概率 p ( x ∣ y ) p(x|y) p(xy)来表示,即在事件y出现的概率下,事件x发生的条件概率,这样x的条件自信息量可以定义为 I ( x ∣ y ) = − l o g 2 p ( x ∣ y ) I(x∣y)=−log_2p(x∣y) I(xy)=log2p(xy).

      事件 x i x_i xi的不确定度在数值上等于它的信息量,而不论事件发生与否,只要其概率 p ( x i ) p(x_i) p(xi)存在,那么它就有不确定度;而事件 x i x_i xi的信息量是事件发生后带给人们的信息量。

    二. 熵

    熵指的是随机变量的熵;熵是随机变量不确定度的度量。

    1. 定义

    1. 设X是一个离散型随机变量,分布律为 p ( x ) = p ( X = x ) p(x)=p(X=x) p(x)=p(X=x) x ∈ X x\in X xX为取值空间集合 ,则随机变量X的熵 H ( X ) H(X) H(X)定义为:

    H ( X ) = − ∑ x ∈ X p ( x ) log 2 p ( x ) H(X)=−\sum_{x\in X}p(x) \text{log}_2 p(x) H(X)=xXp(x)log2p(x)

    ​ 单位 b i t bit bit;注意,单位取决于定义用到对数的底。当 b = 2 b = 2 b=2,熵的单位是 b i t bit bit;当 b = e b= e b=e,熵的单位是 n a t nat nat;而当 b = 10 b=10 b=10,熵的单位是 H a r t Hart Hart

    1. 依据Boltzmann’s H-theorem,香农把随机变量 X 的熵值 Η 定义如下:

    H ( X ) = E [ I ( X ) ] = E [ − ln ⁡ ( P ( X ) ) ] . \Eta(X) = \mathrm{E}[\mathrm{I}(X)] = \mathrm{E}[-\ln(\mathrm{P}(X))]. H(X)=E[I(X)]=E[ln(P(X))].

    ​ 其中, P 为X的概率质量函数(probability mass function),E 为期望函数,而 I(X) 是X 的信息量(又称为自信息)。I(X) 本身是个随机变数。

    2. 理解

    熵是数学期望!熵是数学期望!熵是数学期望!

    随机变量X的熵的含义就是X的所有可能的事件 x ∈ X x\in X xX的自信息量( 即 I ( x ) I(x) I(x) )的期望。

    熵又称为自信息(self-information),表示信源 X 每发一个符号(不论发什么符号)所提供的平均信息量。

    熵可以理解为不确定性的量度(或者说是多样性diversity的度量),因为越随机的信源的熵越大。熵可以被视为描述一个随机变量的不确定性的数量。一个随机变量的熵越大,它的不确定性越大。那么,正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。

    随机变量X的实际上是X的分布的泛函数,不依赖于X的实际取值,只依赖于X的分布
    泛函数:输入为函数,输出为实数的函数。

    信息量是事件的信息量,熵是随机变量的信息量;

    当所有的 p ( x ) p(x) p(x) 都相等,且值为 p ( x ) = 1 / M p(x) = 1/M p(x)=1/M 时,熵取得最大值;当且仅当X的分布是均匀分布时,熵最大。

    三. 联合熵

    1. 定义

    对于联合分布为 p ( x , y ) p(x,y) p(x,y)的一对离散型随机变量 ( X , Y ) (X,Y) (X,Y),其联合熵(joint entropy) H ( X , Y ) H(X,Y) H(X,Y)定义为:
    H ( X , Y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g 2 p ( x , y ) H(X,Y)=-\sum_{x\in X} \sum_{y \in Y}p(x,y) \mathrm{log}_2 p(x,y) H(X,Y)=xXyYp(x,y)log2p(x,y)
    单位bit。

    2. 理解

    1. 联合熵的含义就是所有可能事件(x,y)的自信息量的期望。
      H ( X , Y ) = E ( I ( X , Y ) ) = − E ( l o g 2 p ( x , y ) ) = − ∑ 所 有 x ∑ 所 有 y p ( x , y ) l o g 2 p ( x , y ) \mathrm{H}(X,Y)=\mathrm{E}(\mathrm{I}(X,Y))=−\mathrm{E}(\mathrm{log}_2p(x,y)) \\ =-\sum_{所有x} \sum_{所有y}p(x,y) \mathrm{log}_2 p(x,y) H(X,Y)=E(I(X,Y))=E(log2p(x,y))=xyp(x,y)log2p(x,y)

    2. 联合熵实际上就是描述一对随机变量平均所需要的信息量。

    四. 条件熵

    1. 定义

    在给定随机变量X的条件下,随机变量Y的不确定性。
    H ( Y ∣ X ) = − ∑ x ∈ X p ( x ) H ( Y ∣ X = x ) = − ∑ x ∈ X p ( x ) ∑ y ∈ Y p ( y ∣ x ) l o g 2 p ( y ∣ x ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g 2 p ( y ∣ X = x ) H(Y|X)=-\sum_{x\in X} p(x)H(Y|X=x) \\ =-\sum_{x\in X} p(x) \sum_{y \in Y} p(y|x) \mathrm{log}_2 p(y|x) \\ =-\sum_{x\in X} \sum_{y \in Y}p(x,y) \mathrm{log}_2 p(y|X=x) \\ H(YX)=xXp(x)H(YX=x)=xXp(x)yYp(yx)log2p(yx)=xXyYp(x,y)log2p(yX=x)

    2. 理解

    注意,这个条件熵,不是指在给定某个数(某个变量为某个值)的情况下,另一个变量的熵是多少,变量的不确定性是多少?而是期望!因为条件熵中X也是一个变量,意思是在一个变量X的条件下(变量X的每个值都会取),另一个变量Y熵对X的期望。

    3. 定理链式法则在这里插入图片描述
    证明:
    img

    五. 互信息

    随机变量X为信源符号集合,随机变量Y为信宿符号集合,则互信息 I ( X ; Y ) I(X;Y) I(X;Y)表示信宿收到一个符号时,平均能够获得的信源的信息量;也可理解为X与Y之间的离散信道上传输每个符号的平均信息量。

    定义先验概率为信源X的分布 p ( x i ) p(x_i) p(xi)。当信宿收到一个符号 y j y_j yj后,信宿可以计算信源发出各符号的条件概率 p ( x i ∣ y j ) p(x_i∣y_j) p(xiyj),定义为后验概率。

    随机变量可等价为信源,事件可等价为符号。

    1. 定义

    定义:事件 y j y_j yj与事件 x i x_i xi间的互信息量表示从事件y发生所得到的关于事件x的信息量。互信息量定义为后验概率与先验概率之比的对数。

    平均互信息 I ( X ; Y ) I(X;Y) I(X;Y)克服了互信息量 I ( x i ; y j ) I(x_i;y_j) I(xi;yj)的随机性,成为一个确定的量。因此可以作为信道中流通信息量的整体测度。
    即:
    img

    2. 理解

    因为H(X)是符号X的熵或者不确定度,而 H ( X ∣ Y ) H(X|Y) H(XY)是当Y已知时X的不确定度,那么可见“Y已知”这件事使得X的不确定度减少了 I ( X ; Y ) I(X;Y) I(X;Y),这意味着“Y已知后”所获得的关于X的信息是 I ( X ; Y ) I(X;Y) I(X;Y).

    由此可以看出,互信息 I ( X ; Y ) I(X;Y) I(X;Y)是在给定Y知识条件下X的不确定度的缩减量。则,[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h94tQfY6-1589858128996)(E:%5Cmaterials%5Creading%20paper%5Crelay%20channel%20capacity%2020200515%5C%E7%9F%A5%E8%AF%86%E7%82%B9%5C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5.assets%5Cgif-1589857845034.gif)]
    联系到前面的
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-niun93hf-1589858128998)(E:%5Cmaterials%5Creading%20paper%5Crelay%20channel%20capacity%2020200515%5C%E7%9F%A5%E8%AF%86%E7%82%B9%5C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5.assets%5Cgif-1589857848225.gif)]
    可得,

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uEpxGY7Z-1589858129002)(E:%5Cmaterials%5Creading%20paper%5Crelay%20channel%20capacity%2020200515%5C%E7%9F%A5%E8%AF%86%E7%82%B9%5C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5.assets%5Cgif-1589857850643.gif)]
    由于 H(X|X) = 0, 所以, H(X) = H(X) – H(X|X) = I(X; X)

    这一方面说明了为什么熵又称自信息,另一方面说明了两个完全相互依赖的变量之间的互信息并不是一个常量,而是取决于它们的熵。

    六. 信道容量

    信息传输率: R = I ( X ; Y ) R=I(X;Y) R=I(X;Y) ,单位bit/符号
    信道容量:最大的信息传输率。
    C = m a x p ( x ) I ( X ; Y ) C=\mathrm{max}_{p(x)}\mathrm{I}(X;Y) C=maxp(x)I(X;Y)
    单位bit/符号。

    根据信道容量的定义,就是在固定信道条件下,对所有可能的输入概率分布p(x)求平均互信息的极大值。

    I ( X ; Y ) I(X;Y) I(X;Y)是输入概率的上凸函数,故极大值一定存在。

    信道的互信息 I ( X ; Y ) I(X;Y) I(X;Y)的极大值即等于信道容量。

    ————————————————
    原文链接:https://blog.csdn.net/qq_34440148/article/details/84642402

    展开全文
  • 本文的主要内容是离散信源信息量、平均信息量的计算及其例题分析解答。

    信息量I与消息出现的概率 P(x) 之间的关系:
    1.信息量是概率的函数,即I=f[P(x)]
    2.P(x) 越小,I越大,P(x) 越大,I越小;
    3.若干个相互独立事件构成的消息,所含信息量等于各独立事件信息量之和,信息量具有相加性。
    信息量的计算公式如下:
    在这里插入图片描述
    其中,a=2时,单位为比特(bit);
    a=e时,单位为奈特(nit);
    a=10时,单位为哈莱特。
    当消息很长时,用符号出现概率来计算消息的信息量是比较麻烦的,此时可以用平均信息量的概念来计算,所谓平均信息量是指每个符号所含信息量的统计平均值,因此N个符号的离散消息的平均信息量
    在这里插入图片描述
    上述平均信息量计算公式与热力学和统计力学中关于系统熵的公式一样,因此我们也把信源输出消息的平均信息量叫做信源的熵
    下面来通过一个例题加深印象。

    例:某离散信源由0,1,2,3四个符号组成,它们出现的概率分别是3/8,1/4,1/4,1/8,且每个符号的出现都是独立的。试求消息序列:201020130213001203210100321010023102002010312032100120210的信息量。

    解答如下:
    此消息共有57个符号,其中,0出现了23次,1出现了14次,2出现了13次,3出现了7次。
    该消息的信息量计算如下:
    在这里插入图片描述
    从而每个符号的平均信息量为:
    在这里插入图片描述
    若用平均信息量(信源的熵)来计算:
    在这里插入图片描述
    则该消息的信息量为:
    在这里插入图片描述
    这个例题到此就解答完毕了。
    希望以上内容对你有帮助!

    展开全文
  • 计算机中信息的最小单位是什么?

    千次阅读 2021-07-29 06:59:13
    计算机中,一个二进制位(bit)是构成存储器的最小单位,即表示信息量的最小单位,只有0、1两种二进制状态;通常将8位二进制位组成一个存储单元,称为字节(Byte)。相关推荐:《编程视频》在计算机中,信息的最小单位是...
  • 信息量为什么要表示成对数的形式

    万次阅读 多人点赞 2018-01-18 21:06:20
    近期在路上进行了不少的思考,任何方面,任何领域…我会把这些记录在手机的备忘录里,然后在周末总结出来,早就成了习惯。   近日对信息论,排队论以及贝叶斯定理...人问一件事发生后所携带的信息量为什么要表示成
  • 信息论:信息量的计算

    千次阅读 2020-09-22 18:09:15
    信息量的大小由这条信息消除了多少可能性决定 信息量在某些情况下是可加的,比如: 得知一个六面骰子投掷三次的结果所包含的信息量,是得知投掷一次的结果的三倍 用数学表达的话,可以假设可能的结果为 r 投掷一次...
  • 信息量和信息熵的理解

    千次阅读 2019-07-07 22:53:52
    信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典的paper《A Mathematical Theory of Communication》中提出的。如今,这些概念不仅仅是通信领域中的基础概念,也被广泛的应用...
  • 比特(BIT,binary system),计算机专业术语,是信息量单位,是由英文BIT音译而来。同时也是二进制数字中的位,信息量的度量单位,为信息量的最小单位。在需要作出不同选择的情况下把备选的刺激数量减少半所必需的...
  • 信息量,熵及其性质

    千次阅读 2019-04-02 14:53:33
    定义2.3 随机事件,发生概率的对数的相反数定义为该随机事件的自信息量,记作。设的发生概率为,则其自信息为 当,即随机事件,不发生时,定义为无限大;当,即随机事件为确定事件必然发生时,;...
  • 上面的单位换算是这样吗? 我的电脑内存只有128MB,就是说只能装128MB。一般内存换算是1024进制,也就是2的10次方。1TB=1024GB 1GB=1024MB 1MB=1024KB 1KB=1024Byte 你说的128MB是运行内存,临时运行少量数据,外在...
  • 下面我举一个例子给大家来直观的理解一下什么是信息熵和信息量。 首先我们需要想一下的我们应该怎么样去度量一个属性,比如质量我们用的是kG,长度我们用的是m,但是如果我们问你什么是1kg的时候,其实你会很迷茫,...
  • 信道容量+平均互信息

    千次阅读 2021-06-30 13:48:55
    研究信道的目的是:研究信道能传输的最大信息量,即:信道最大传输能力。 两个主要的信息测度函数: 1):如何描述在信道中传输的消息的信息量的大小,用:平均互信息描述,属于信息传输率问题。 2):信道中最大的...
  • 数字通信系统 ...1. 信息量I:反映单个符号的不确定性。 信息量:不确定性的多少,可以用概率衡量。概率越小,信息量越大。 相互独立的事件的信息量是相加的关系。 信息量是概率的函数: ...
  • 摩羯面对现实的回答计算机中存储数据的最小单位:位 bit (比特)(Binary ...指在某一领域以一个特定,或标准做为一个记录(计数)点。再以此点的某个倍数再去定义另一个点,而这个点的代名词就是计数单位或存储单...
  • 传输速率、带宽和吞吐的含义和相应的基本单位 (1)传输速率:表示两个设备之间数据流动的物理速度,单位是bps; (2)带宽:也就是单位时间内,从某处传输到另一处的最大数据!相当于最大速率,单位也是bps; (3...
  • 香农信息量

    千次阅读 多人点赞 2018-12-18 08:40:07
    如果是连续型随机变量的情况,设ppp为随机变量XXX的概率分布,即p(x)p(x)p(x)为随机变量XXX在X=xX=xX=x处的概率密度函数值,则随机变量XXX在X=xX=xX=x处的...这时香农信息量单位为比特。(如果非连续型随机变量,...
  • 数据存储单位bit(比特),量度信息的单位,也是表示信息量的最小单位,只有0、1两种二进制状态。在计算机中最小的信息单位是bit,也就是一个二进制位,8个bit组成一个Byte,也就是字节。在计算机数据存储中,存储数据...
  • 计算机中最大单位是什么

    千次阅读 2021-07-10 03:27:46
    计算机中最大单位是TB。相信这个不用学习啦小编说,很多人都知道啦!那么它的知识你了解多少呢,以下便是学习啦小编要跟大家分享的内容啦!定义计算机储存单位指在...二进制序列用以表示计算机、电子信息数据容量的...
  • 原标题:大学里,有哪些含金高,又容易得奖的国家级比赛?大学是人生的黄金期,是自我提升的绝佳时期,也是闲暇时间最多的时期。如何度过大学,决定了你以后的发展起点。平时,除了考级考证,一些含金高、性价...
  • 香农信息量、信息熵、交叉熵

    千次阅读 2018-07-19 17:05:48
    其中对数以2为底,这时香农信息量单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量(比如要不要多观察几场球赛的表现)就...
  • 那么程序员有哪些含金高的证书可以考?下面黑马程序员小编将详细介绍一下含金高的IT证书,避免大家在不需要的考试上浪费时间。 1、MCSE,MCDBA,MCAD/MCSD微软认证 包括系统管理方向,数据库方向和开发方向的...
  • 有哪些值得推荐的计算机专业的竞赛?

    万次阅读 多人点赞 2021-08-19 17:03:13
    恐怕只有ACM才这个实力。 其它竞赛,都只起到锦上添花的作用,只有竞赛奖牌没有实际能力,想找份工作恐怕也并不是那么容易。 对于工作而言,有些证书可能作用不大,但对于考研来说却是有用的。 计算机里的竞赛...
  • 近来IT行业成为了发展前景好高薪资的大热门,社会上也出现了“计算机考试热”。总体看来,越来越多的人选择参加各种各样的计算机考试,就是为了拿含金高的证书,提升自己的职场竞争力。那么程序员...
  • 计算机系统中的数据计量单位-位(bit)、字节(Byte)、字(word)
  • 上学期间,如果某个同学能参加比较含金的比赛,并且拿个奖励,就能成为同学们眼中的“大神”。那么物联网方向的比赛有哪些呢?
  • 计算机信息计量单位中的K,一般代表的数值是2^10=1024。在计算机的信息存储单位中K一般都搭配B(字节)进行使用。是计算机数据存储器存储单位字节的多倍形式。现今通常在标识内存等具有一般容量的储存媒介之储存容量时...
  • 互联网是各大应届生都抢着进入的行业,奋斗、年轻、改变、创新……这个行业的生命力和前景对希望能活得精彩的同学来说极吸引力,BAT的岗位更是不少人的dream offer。除了会得到高薪,良好的工作前景和职业发展路径...
  • K一般都代表1024,而计算机中信息是以二进制形式来存储的,二进制的基是2,所以人们就想能不能也找到一个与其他单位系统中的K相类似的单位前缀。由于K是在十进制中使用,代表的是10的三次方而计算机中信息计量单位是...
  • 信息(Mutual Information)介绍

    万次阅读 2021-01-23 17:48:09
    在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不...互信息最常用的单位是bit。 1.互信息的定义  

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 622,262
精华内容 248,904
热门标签
关键字:

信息量的单位有哪些

友情链接: qc451.zip