精华内容
下载资源
问答
  • 管理信息系统的定义概念和结构以对企业整体性、长期性、基本性问题进行谋略,最终追求完美打造管理信息...该文档为管理信息系统的定义概念和结构,是一份很不错的参考资料,具有较高参考价值,感兴趣的可以下载...
  • 让我们说人话!好的数学概念都应该是通俗易懂的。...起码直觉上而言是可以的,不然怎么可能我们觉得有些人说的废话特别多,“没什么信息量”,有些人一语中的,一句话就传达了很大的信息量。 为什么有的信
    让我们说人话!好的数学概念都应该是通俗易懂的。

    信息熵,信息熵,怎么看怎么觉得这个“熵”字不顺眼,那就先不看。我们起码知道这个概念跟信息有关系。而它又是个数学模型里面的概念,一般而言是可以量化的。所以,第一个问题来了: 信息是不是可以量化?

    起码直觉上而言是可以的,不然怎么可能我们觉得有些人说的废话特别多,“没什么信息量”,有些人一语中的,一句话就传达了很大的信息量。

    为什么有的信息量大有的信息量小?

    有些事情本来不是很确定,例如明天股票是涨还是跌。如果你告诉我明天NBA决赛开始了,这两者似乎没啥关系啊,所以你的信息对明天股票是涨是跌带来的信息量很少。但是假如NBA决赛一开始,大家都不关注股票了没人坐庄股票有99%的概率会跌,那你这句话信息量就很大,因为本来不确定的事情变得十分确定。

    而有些事情本来就很确定了,例如太阳从东边升起,你再告诉我一百遍太阳从东边升起,你的话还是丝毫没有信息量的,因为这事情不能更确定了。

    所以说信息量的大小跟事情不确定性的变化有关。

    那么,不确定性的变化跟什么有关呢?
    一,跟事情的可能结果的数量有关;二,跟概率有关。
    先说一。
    例如我们讨论太阳从哪升起。本来就只有一个结果,我们早就知道,那么无论谁传递任何信息都是没有信息量的。
    当可能结果数量比较大时,我们得到的新信息才有潜力拥有大信息量。

    二,单看可能结果数量不够,还要看初始的概率分布。例如一开始我就知道小明在电影院的有15*15个座位的A厅看电影。小明可以坐的位置有225个,可能结果数量算多了。可是假如我们一开始就知道小明坐在第一排的最左边的可能是99%,坐其它位置的可能性微乎其微,那么在大多数情况下,你再告诉我小明的什么信息也没有多大用,因为我们几乎确定小明坐第一排的最左边了。

    那么,怎么衡量不确定性的变化的大小呢?怎么定义呢?
    这个问题不好回答,但是假设我们已经知道这个量已经存在了,不妨就叫做信息量,那么你觉得 信息量起码该满足些什么特点呢?


    一,起码不是个负数吧
    ,不然说句话还偷走信息呢~

    二, 起码信息量和信息量之间可以相加吧!假如你告诉我的第一句话的信息量是3,在第一句话的基础上又告诉我一句话,额外信息量是4,那么两句话信息量加起来应该等于7吧!难道还能是5是9?

    三,刚刚已经提过,信息量跟概率有关系,但我们应该会觉得, 信息量是连续依赖于概率的吧!就是说,某一个概率变化了0.0000001,那么这个信息量不应该变化很大。

    四,刚刚也提过,信息量大小跟可能结果数量有关。 假如每一个可能的结果出现的概率一样,那么对于可能结果数量多的那个事件,新信息有更大的潜力具有更大的信息量,因为初始状态下不确定性更大。

    那有什么函数能满足上面四个条件呢?负的对数函数,也就是-log(x)!底数取大于1的数保证这个函数是非负的就行。前面再随便乘个正常数也行。
    a. 为什么不是正的?因为假如是正的,由于x是小于等于1的数,log(x)就小于等于0了。第一个特点满足。
    b. 咱们再来验证一下其他特点。三是最容易的。假如x是一个概率,那么log(x)是连续依赖于x的。done
    c。四呢?假如有n个可能结果,那么出现任意一个的概率是1/n,而-log(1/n)是n的增函数,没问题。
    d。最后验证二。由于-log(xy) = -log(x) -log(y),所以也是对的。学数学的同学注意,这里的y可以是给定x的条件概率,当然也可以独立于x。

    By the way,这个函数是唯一的(除了还可以多乘上任意一个常数),有时间可以自己证明一下,或者查书。

    ok,所以我们知道 一个事件的信息量就是这个事件发生的概率的负对数

    最后终于能回到信息熵。信息熵是跟所有可能性有关系的。每个可能事件的发生都有个概率。 信息熵就是平均而言发生一个事件我们得到的信息量大小。所以数学上,信息熵其实是信息量的期望。(表达式参考其它答案或者看下面)
    H=-\sum_{x\epsilon U}{P(x)\log P(x)}

    至于为什么用“熵”这个怪字?大概是当时翻译的人觉得这个量跟热力学的熵有关系,所以就用了这个字,君不见字里头的火字旁?

    而热力学为什么用这个字?这个真心不知道。。。

    自信息量一个事件(消息)本身所包含的信息量,由事件的不确定性决定的。

    即随机事件Xi发生概率为P(xi),则随机事件的自信息量定义为:



    信息熵随机变量自信息量I(xi)的数学期望(平均自信息量),用H(X)表示,即为熵的定义:

      

    在这里 b 是对数所使用的,通常是 2, 自然常数 e,或是10。b = 2,熵的单位是bit;当b = e,熵的单位是 nat;而当 b = 10,熵的单位是 dit

    互信息的定义:
    原来我对X有些不确定(不确定性为H(X)即熵),告诉我Y后我对X不确定性变为H(X|Y)条件熵, 这个不确定性的减少量就是X,Y之间的互信息I(X;Y)=H(X)-H(X|Y)。

    信道容量是指互信息量的最大值。具体地说,就是在一定带宽和信噪比下,借助某种编码方案实现无差错传输时可以达到的最大速率,它是一个上界,在实际应用中,传输速率一定不能大于信道容量。信道容量考量的对象主要是物理信道,而非传输技术。

    容量C的定义:每个符号能够传输的平均信息量最大值

    单位: (比特/符号) 

    Ct  :b/s



    所以在无噪声条件下,从接收一个符号获得的平均信息量为H(x)。而原来在有噪声条件下,从一个符号获得的平均信息量为[H(x)H(x/y)]这再次说明H(x/y)即为因噪声而损失的平均信息量。
    展开全文
  • 信息熵到底是什么

    万次阅读 多人点赞 2016-11-06 21:53:48
    在百度百科中的定义信息,泛指人类社会传播的一切内容,指音讯、消息、通信系统传输和处理的对象。 但信息可不可以被量化,怎样量化?答案当然是有的,那就是“信息熵”。早在1948年,香农(Shannon)在他著名的...

    信息是我们一直在谈论的东西,但信息这个概念本身依然比较抽象。在百度百科中的定义:信息,泛指人类社会传播的一切内容,指音讯、消息、通信系统传输和处理的对象。

    但信息可不可以被量化,怎样量化?答案当然是有的,那就是“信息熵”。早在1948年,香农(Shannon)在他著名的《通信的数学原理》论文中指出:“信息是用来消除随机不确定性的东西”,并提出了“信息熵”的概念(借用了热力学中熵的概念),来解决信息的度量问题。
    香农
    下面结合自身的一些认识,谈谈对信息熵的理解。

    1. 信息熵是消除不确定性所需信息量的度量,也即未知事件可能含有的信息量。

    一个事件或一个系统,准确的说是一个随机变量,它有着一定的不确定性。例如,“除东道主俄罗斯外,哪31个国家能进军2018年俄罗斯世界杯决赛圈”,这个随机变量的不确定性很高,要消除这个不确定性,就需要引入很多的信息,这些很多信息的度量就用“信息熵”表达。需要引入消除不确定性的信息量越多,则信息熵越高,反之则越低。例如“中国男足进军2018年俄罗斯世界杯决赛圈”,这个因为确定性很高,几乎不需要引入信息,因此信息熵很低。
    俄罗斯世界杯
    那信息熵如何计算呢?举个吴军在《数学之美》中一样的例子,假设世界杯决赛圈32强已经产生,那么随机变量“2018年俄罗斯世界杯足球赛32强中,谁是世界杯冠军?”的信息量是多少呢?
    数学之美
    根据香农(Shannon)给出的信息熵公式,对于任意一个随机变量X,它的信息熵定义如下,单位为比特(bit):

    H(X)=xεXP(x)logP(x))

    那么上述随机变量(谁获得冠军)的信息量是:

    H=-(p1·logp1+p2·logp2+…p32·logp32)

    其中,p1,p2,…,p32分别是这32强球队夺冠的概率。
    吴军的书中给出了几个结论:一是32强球队夺冠概率相同时,H=5;二是夺冠概率不同时,H<5;三是H不可能大于5。

    对于第一个结论:结果是很显然的,夺冠概率相同,即每个球队夺冠概率都是1/32,所以H=-((1/32)·log(1/32)+(1/32)·log(1/32)+…+(1/32)·log(1/32))=-log(1/32)=log(32)=5(bit)

    对于第二个结论和第三个结论:使用拉格朗日乘子法进行证明,详见《求约束条件下极值的拉格朗日乘子法》。这实际上是说系统中各种随机性的概率越均等,信息熵越大,反之越小。

    从香农给出的数学公式上可以看出,信息熵其实是一个随机变量信息量的数学期望。

    2.日常语境中的信息量与信息熵的关系。

    日常生活中,我们经常说某人说话言简意赅,信息量却很大,某些人口若悬河,但是废话连篇,没啥信息量;这个电视剧情节太拖沓,一集都快演完了也没演啥内容。这里的信息量/内容与信息熵有什么关系呢?

    很多人把这些东西与信息熵混为一谈,得出“说话信息量越大,信息熵越高”“语言越言简意赅,信息熵越高;语言越冗余堆积,信息熵越低。”等等结论。

    不是说这些说法错了,而是容易引起误导。个人认为,这里日常语境的信息量与其说是信息量,不如说是信息质量和信息传递效率问题,有没有干货,有没有观点,有没有思想,并且在一定的文字长度/播放时间内,能不能有效的表达出来,这个其实是人的能力问题,和信息熵没啥关系好不!

    3.在自然语言处理中,信息熵只反映内容的随机性(不确定性)和编码情况,与内容本身无关。

    信息熵的一个重要应用领域就是自然语言处理。例如,一本50万字的中文书平均有多少信息量。我们知道,常用的汉字约7000字。假如每个汉字等概率,那么大约需要约13比特(即13位二进制数, 213 =8192)表示一个汉字。
    应用信息熵就是,一个汉字有7000种可能性,每个可能性等概率,所以一个汉字的信息熵是:

    H=-((1/7000)·log(1/7000)+(1/7000)·log(1/7000)+…(1/7000)·log(1/7000))=12.77(bit)

    实际上由于前10%汉字占常用文本的95%以上,再考虑词语等上下文,每个汉字的信息熵大约是5比特左右。所以一本50万字的中文书,信息量大约是250万比特。需要注意这里的250万比特是个平均数。
    再看下面两个句子。
    (1)落霞与孤鹜齐飞,秋水共长天一色。
    (2)落日下的晚霞与孤独的大雁一同飞翔,晚秋的江水和深远的天空连成一片。
    落霞
    按照信息熵的计算,第二句比第一句的信息熵要高1倍以上,你会觉得第二句比第一句水平要高,信息量更大么?在自然语言处理中出现较大的信息熵,只表示可能出现的语言字符较多,并不意味着你可以从中得到更多的信息。

    所以,信息熵高,不代表你说的话,写的文字中蕴含的信息量就比别人高了。更确切的,信息熵在自然语言处理中是用来对语言文字进行数据压缩的,与语言素养无关。当然条件熵、相对熵等应该是自然语言处理中更有用的概念,这个以后有机会再说。

    4.随机变量的信息熵大小是客观的,又是主观的,与观测者的观测粒度有关。

    信息熵描述的是随机变量的不确定性。对于同一个随机变量,不同观测者从不同粒度上观察,得到的信息熵是不一样的。

    还是举上面世界杯谁夺得冠军的例子,32强谁夺得冠军的信息熵是5比特;如果粒度再粗些,有人关注是哪个州夺得冠军,那么其可能性是5种(欧洲,南美,非洲,中北美州,亚洲),信息熵是2.32比特;如果我们只关注亚洲是否夺冠,那么可能性是2种,信息熵是1比特。
    股市
    再举个更随机的例子,中国股市的涨跌(假设非涨即跌,不算平盘),明天是涨还是跌,只有2种可能,信息量(信息熵)是1比特;假设股市只有蓝筹板,中小板,创业板3个板块,这三个板块的涨跌的可能性合计是8种,信息熵是3比特;如果关注的是每个股票的涨跌,2000个股票的可能性合计是 22000 种,信息熵是2000比特。

    因此,对于不同的观测者来说,信息量(信息熵)是不同的,观测粒度越细则信息量(信息熵)越大,观测粒度越粗则信息量(信息熵)越小。

    5.信息熵与热力学熵有相似之处,但不是同一个东西。

    很多人看到信息熵的数学公式和热力学熵(有宏观形式和微观形式2种)的数学表达式非常相似,觉得两者不存在本质区别。但个人认为至少在目前看来是完全不一样的东西。

    • 首先,两者的应用领域完全不一样。热力学熵主要用于热力学、量子物理等领域。而信息熵主要用于通信和和计算机等领域。

    • 其次,两者形成于不同的理论体系,含义、研究对象都有较大区别,连量纲都不一样,一个是焦耳/开尔文,一个是比特bit。举个可能不太恰当的例子,计算机科学中借用了植物学中“树”的概念,虽然计算机科学中的“树”与植物学中的“树”很多地方类似,但显然不是同一个东西。
      植物树二叉树

    • 最后,不排除将来有一套统一理论体系能够将信息熵和热力学熵都包含进去。但在现在看来,信息论和热力学并没有统一的迹象,生搬硬套的将这两种熵联系在一起,只会起到概念含混,逻辑脆弱的反作用。
    展开全文
  • 什么是进程? ( 进程的详细概念 )

    万次阅读 多人点赞 2017-12-09 15:19:46
    那么什么是进程? 为什么引入进程的概念?  从理论角度看,是对正在运行的程序过程的抽象;  从实现角度看,是一种数据结构,目的在于清晰地刻画动态系统的内在规律,有效管理和调度进入计算机系统主存储器...

    进程管理是操作系统重点、难点问题,也是贯穿Linux学习的知识点。那么什么是进程?

    • 为什么引入进程的概念?

       从理论角度看,是对正在运行的程序过程的抽象;
       从实现角度看,是一种数据结构,目的在于清晰地刻画动态系统的内在规律,有效管理和调度进入计算机系统主存储器运行的程序。

    • 什么是进程?

       狭义定义:进程就是一段程序的执行过程。
       广义定义:进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元。

    • 进程有怎么样的特征?

      动态性:进程的实质是程序在多道程序系统中的一次执行过程,进程是动态产生,动态消亡的。
      并发性:任何进程都可以同其他进程一起并发执行
      独立性:进程是一个能独立运行的基本单位,同时也是系统分配资源和调度的独立单位;
      异步性:由于进程间的相互制约,使进程具有执行的间断性,即进程按各自独立的、不可预知的速度向前推 进
      结构特征:进程由程序、数据和进程控制块三部分组成;
      多个不同的进程可以包含相同的程序:一个程序在不同的数据集里就构成不同的进程,能得到不同的结果; 但是执行过程中,程序不能发生改变。

    • Linux进程结构?

          Linux进程结构:可由三部分组成:代码段、数据段、堆栈段。也就是程序、数据、进程控制块PCB(Process Control Block)组成。进程控制块是进程存在的惟一标识,系统通过PCB的存在而感知进程的存在。
          系统通过PCB对进程进行管理和调度。PCB包括创建进程、执行程序、退出进程以及改变进程的优先级等。而进程中的PCB用一个名为task_struct的结构体来表示,定义在include/linux/sched.h中,每当创建一新进程时,便在内存中申请一个空的task_struct结构,填入所需信息,同时,指向该结构的指针也被加入到task数组中,所有进程控制块都存储在task[]数组中。

    • 进程的三种基本状态?

         a> 就绪状态:进程已获得除处理器外的所需资源,等待分配处理器资源;只要分配了处理器进程就可执行。就绪进程可以按多个优先级来划分队列。例如,当一个进程由于时间片用完而进入就绪状态时,排入低优先级队列;当进程由I/O操作完成而进入就绪状态时,排入高优先级队列。
         b> 运行状态:进程占用处理器资源;处于此状态的进程的数目小于等于处理器的数目。在没有其他进程可以 执行时(如所有进程都在阻塞状态),通常会自动执行系统的空闲进程。
         c> 阻塞状态:由于进程等待某种条件(如I/O操作或进程同步),在条件满足之前无法继续执行。该事件发生 前即使把处理机分配给该进程,也无法运行。

    • 进程和程序的区别?

         a> 程序是指令和数据的有序集合,是一个静态的概念。而进程是程序在处理机上的一次执行过程,它是一个 动态的概念。
         b> 程序可以作为一种软件资料长期存在,而进程是有一定生命期的。程序是永久的,进程是暂时的。
          c> 进程是由进程控制块、程序段、数据段三部分组成;
          d> 进程具有创建其他进程的功能,而程序没有。
          e> 同一程序同时运行于若干个数据集合上,它将属于若干个不同的进程,也就是说同一程序可以对应多个进 程。
          f> 在传统的操作系统中,程序并不能独立运行,作为资源分配和独立运行的基本单元都是进程。

    • 进程控制?

      创建进程
      引起创建进程的事件:
      1) 用户登录
      2) 作业调度
      3) 提供服务
      4) 应用请求
      进程的创建过程
      一旦操作系统发现了要求创建新进程的事件后,便调用进程创建原语Creat()按下述步骤创建一个新 进程。
      1) 申请空白PCB。为新进程申请获得唯一的数字标识符,并从PCB集合中索取一个空白PCB。
      2) 为新进程分配资源。
      3) 初始化进程控制块。PCB的初始化包括:
      ①初始化标识信息,将系统分配的标识符和父进程标识符,填入新的PCB中。
      ②初始化处理机状态信息,使程序计数器指向程序的入口地址,使栈指针指向栈顶。
      ③初始化处理机控制信息,将进程的状态设置为就绪状态或静止就绪状态,对于优先级,通常 是将它设置为最低优先级,除非用户以显式的方式提出高优先级要求。
      4) 将新进程插入就绪队列,如果进程就绪队列能够接纳新进程,便将新进程插入到就绪队列中
      进程终止
      引起进程终止的事件
      1)正常结束
      2)异常结束
      3)外界干预
      进程的终止过程
      如果系统发生了上述要求终止进程的某事件后,OS便调用进程终止原语,按下述过程去终止指定的进 程。
      1)根据被终止进程的标识符,从PCB集合中检索出该进程的PCB,从中读出该进程状态。
      2)若被终止进程正处于执行状态,应立即终止该进程的执行,并置调度标志为真。用于指示该进程 被终止后应重新进行调度。
      3)若该进程还有子孙进程,还应将其所有子孙进程予以终止,以防他们成为不可控的进程。
      4)将被终止的进程所拥有的全部资源,或者归还给其父进程,或者归还给系统。
      5)将被终止进程(它的PCB)从所在队列(或链表)中移出,等待其它程序来搜集信息。
      阻塞唤醒
      1.引起进程阻塞和唤醒的事件
      1)请求系统服务
      2)启动某种操作
      3)新数据尚未到达
      4)无新工作可做
      2.进程阻塞过程
      正在执行的进程,当发现上述某事件后,由于无法继续执行,于是进程便通过调用阻塞原语block把自 己阻塞。可见,进程的阻塞是进程自身的一种主动行为。进入block过程后,由于此时该进程还处于执 行状态,所以应先立即停止执行,把进程控制块中的现行状态由执行改为阻塞,并将PCB插入阻塞队 列。如果系统中设置了因不同事件而阻塞的多个阻塞队列,则应将本进程插入到具有相同事件的阻塞 (等待)队列。最后,转调度程序进行重新调度,将处理机分配给另一就绪进程,并进行切换,亦即, 保留被阻塞进程的处理机状态(在PCB中),再按新进程的PCB中的处理机状态设置CPU环境。
      3.进程唤醒过程
      当被阻塞的进程所期待的事件出现时,如I/O完成或者其所期待的数据已经到达,则由有关进程(比如, 用完并释放了该I/O设备的进程)调用唤醒原语wakeup(),将等待该事件的进程唤醒。唤醒原语执行 的过程是:首先把被阻塞的进程从等待该事件的阻塞队列中移出,将其PCB中的现行状态由阻塞改为就 绪,然后再将该PCB插入到就绪队列中。

    展开全文
  • 1.定义一,信息网络(Information Network):  信息网络可以用一个有向图 G   = ( V, E ) 来表示,其中V代表 Object,E代表  Edge。并且用映射函数  ϕ   :   V   → A   来表示每一个object   ...

    详见Chuan Shi 的论文A Survey of Heterogeneous Information Network Analysis 

    (写这篇才知道翻译文献比看痛苦的多闭嘴

    如果觉得下面的格式实在是不堪入目,可以移步

    展开全文
  • 读论文时,发现关于信息论一无所知的样子,基本概念十分混淆,下面是一些基本概念及对应的理解~ 文章目录一. 信息量二. 熵三. 联合熵四. 条件熵五. 互信息六. 信道容量 一. 信息量 1. 定义 信息量是对事件的不确定性...
  • 定义一个表示学生信息的类Student...

    万次阅读 多人点赞 2018-07-30 17:33:18
    定义一个表示学生信息的类Student,要求如下: (1)类Student的成员变量:  nO 表示学号;name表示姓名;sex表示性别;age表示年龄;java:表示Java课程成绩。 (2)类Student带参数的构造方法:  在构造...
  • 信息融合概念和主要方法

    千次阅读 2021-01-04 11:59:48
    1信息融合又称为数据融合或者多源...2根据信息融合的定义信息融合技术包含以下几个核心内容: (1)信息融合是在几个层次上完成对多源信息处理的过程,其中每一个层次都具有不同级别的信息抽象。 (2)信息融合包括探
  • 信息定义与理解

    千次阅读 2019-03-24 17:25:24
    1、热力学中的热熵是表示分子状态混乱程度的物理量,而香农用信息熵的概念来描述信源的不确定度。在信源中,考虑的不是某一单个符号发生的不确定性,而是要考虑这个信源所有可能发生情况的平均不确定性。 2、 定义...
  • 信息熵及其相关概念

    万次阅读 多人点赞 2018-07-24 16:26:18
    1.3 回看信息定义 2. 伯努利分布熵的计算[3] 3. 两随机变量系统中熵的相关概念[4] 3.1 互信息 3.2 联合熵 3.3 条件熵 3.4 互信息、联合熵、条件熵之间的关系 4. 两分布系统中熵的相关概念[5] 4.1 ...
  • 随着计算机技术的发展,各行各业都开始采用计算机及相应的信息技术进行管理和运营,这使得企业生成、收集、存贮和处理数据的能力大大提高,数据量与日俱增。企业数据实际上是企业的经验积累,当其积累到一定程度时,...
  • 定义一个表示学生信息的类Student,要求如下:(有关类的编程)  (1)类Student的成员变量: sNO 表示学号;sName表示姓名;sSex表示性别;sAge表示年龄;sJava:表示Java课程成绩。 (2)类Student带参数的构造...
  • 信息量与信息熵的概念

    千次阅读 2018-03-04 22:33:25
    信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量...越大概率的事情发生了产生的信息量越小,如太阳从东边升起来了(肯定发生嘛,没什么信息量)。原文: https://zhuanlan.zhihu.com/p/26486223...
  • C++ 定义学生信息结构体,按照学号顺序排序

    千次阅读 多人点赞 2018-12-04 12:48:53
    定义学生信息结构体,录入学生信息,根据学生的学号顺序进行排序。 struct student 定义学生信息,学生信息中Score sc 为一个结构体类型的变量,存放学生的成绩信息; input(),disp()函数输入输出学生信息;sort()...
  • 信息熵与信息增益的概念

    千次阅读 2013-09-26 18:23:11
    熵是一个信息论中很抽象的概念,从熵定义的角度来看,熵表示一组信息中,所有随机变量出现的期望,他的计算公是: Entropy(S):H(x)=∑p(xi)log1/(p(xi)) (i=1,2,..n)=-∑p(xi)log(p(xi)) (i=1,2,..n)其中log的底数...
  • 信息论基本概念

    千次阅读 2016-11-27 15:39:19
     这说明了熵为什么又称为自信息,也说明了两个完全依赖的变量之间的互信息并不是一个常量,而是取决于它们的熵  5、互信息体现了两变量之间的依赖成都,如果I(X;Y)>>0,表明X和Y是高度相关的;   如果...
  • 大数据和云计算具体是什么概念

    千次阅读 2018-04-22 17:28:57
    有研究机构如此定义“大数据”:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样.....
  • 转载自PassXYZ微信公众号,PassXYZ是一款可以运行在...在信息安全领域有几个概念大家可能经常会听到、用到,但是否理解这些概念,是否了解它们之间的关系呢? 谈到信息安全,加密和解密是人们首先想到的话题。一...
  • 什么是概念模型?概念模型的作用是什么?

    万次阅读 多人点赞 2018-04-28 16:45:24
    (1)概念模型,也称信息模型,是按用户的观点来对数据和信息建模,主要用于数据库设计。 (2)概念模型实际上是现实世界到机器世界的一个中间层次。概念模型用于信息世界的建模,是现实世界到信息世界的一层抽象...
  • 信息系统安全的概念

    千次阅读 2015-01-16 15:36:55
    信息系统安全的概念分为三个层次: 基于通信保密的信息系统安全-信息保密的基本技术是家里,目的是控制信息共享的范围,保障信息传递过程中的机密性. 基于信息系统防护的信息系统安全-信息安全是在机密的基础...
  • 信息信息熵、信息增益、增益率及基尼系数的概念总结 信息 信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言,如果待分类的事物集合可以划分为多个类别当中,则第k类的信息可以定义如下: 信息...
  • 关于熵的知识——信息论基本概念

    千次阅读 2018-09-06 17:40:18
    信息论 1 信息量 首先是信息量。假设我们听到了两件事,分别如下:  事件A:巴西队进入了2018世界杯决赛圈。  事件B:中国队进入了2018世界杯决赛圈。  仅凭直觉来说,显而易见事件B的信息量比事件A的信息量要...
  • 信息论中平稳概念--离散平稳信源

    千次阅读 2018-07-11 17:00:53
    定义 信源X具有有限符号集 信源X具有有限符号集合 信源产生随机序列 xii=..,1,2,...xii=..,1,2,...{x_i} i = .., 1, 2 ,... 对所有i,j,hi,j,hi,j,h,都有, p(xi1=aj1...xiN=ajN)=p(xi1+h=aj1...xiN+h=ajN)p(xi1...
  • 什么信息熵要定义成-Σp*log(p)?

    万次阅读 多人点赞 2017-06-03 15:19:44
    From https://www.zhihu.com/question/30828247 作者:西贝 ...商业转载请联系作者获得授权,非商业转载请注明出处。...我从一个非常直观的角度来解释一下熵的定义什么如题主所示。 第一,
  • 在数据库技术中,用数据模型的概念描述数据库的结构和语义,是对现实世界的数据抽象。数据模型是研究数据库技术的核心和基础。 文章目录1.概念数据模型(CDM)2.逻辑数据模型(LDM)3.物理数据模型(PDM) 1.概念...
  • 大数据本身是一个抽象的概念。从一般意义上讲,大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。 目前,业界对大数据还没有一个统一的定义,但是大家普遍认为,大数据具备 ...
  • 模式识别又常称作模式分类,从处理问题的性质和解决问题的方法...前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片...
  • 关于对信息、熵、信息增益是信息论里的概念,是对数据处理的量化,这几个概念主要是在决策树里用到的概念,因为在利用特征来分类的时候会对特征选取顺序的选择,这几个概念比较抽象,我也花了好长时间去理解(自己...
  • 编写一个类实现银行账户Account的概念,包含的属性有“帐号”、“密码”、“存款余额”、“利率rate”、“最小余额”,定义封装这些属性的方法。账号要自动生成。编写主类,使用银行账户类,输入、输出3个储户的上述...
  • from:http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool and参考:周志华《机器学习》 ... 关于对信息、熵、信息增益是信息论里的概念,是对数据处理的量化,这几个概念主要...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,101,279
精华内容 1,640,511
关键字:

信息的概念是什么