精华内容
下载资源
问答
  • 计算机之父是冯·诺依曼。他是美籍匈牙利数学家、计算机科学家、物理学家,是20世纪最重要的数学家之一。冯·诺依曼是现代计算机、博弈论等领域内的科学全才之一,被后人称为“计算机之父”、“博弈论之父”。冯·...

    计算机之父是冯·诺依曼。他是美籍匈牙利数学家、计算机科学家、物理学家,是20世纪最重要的数学家之一。冯·诺依曼是现代计算机、博弈论等领域内的科学全才之一,被后人称为“计算机之父”、“博弈论之父”。

    33b678bb07d38d1d1100ffcdf45a225e.png

    冯·诺依曼生于匈牙利一个犹太人家庭,他从小就显示出数学和记忆方面的天赋,六岁就能心算八位数除法。1926年,冯·诺依曼任希尔伯特的助手。二次大战爆发后,冯·诺依曼参与了同反法西斯有关的多项科学研究计划。1954年又成为美国原子能委员会成员。1945年诺依曼提出了计算机基本工作原理中的存储程序和程序控制。为计算机的设计树立了一座里程碑。

    e5049a7c63ad32b50c31828ec5bad494.png

    冯·诺依曼的第一篇论文是和菲克特合写的,是关于切比雪夫多项式求根法的菲叶定理推广,注明的日期是1922年,那时冯·诺依曼还不满18岁。另一篇文章讨论一致稠密数列,用匈牙利文写就,题目的选取和证明手法的简洁显露出冯·诺依曼在代数技巧和集合论直观结合的特征。

    a23685c66fc0196869070c360e24037c.png

    冯·诺依曼1944年与奥斯卡·摩根斯特恩合著《博弈论与经济行为》,是博弈论学科的奠基性著作。晚年,冯·诺依曼转向研究自动机理论,著有对人脑和计算机系统进行精确分析的著作《计算机与人脑》(1958年),为研制电子数字计算机提供了基础性的方案。其余主要著作有《量子力学的数学基础》(1926)、《经典力学的算子方法》、《连续几何》(1960)等。

    展开全文
  • 丹尼斯·里奇,全名丹尼斯·麦卡利斯泰尔·里奇。C语言之父,UNIX之父。曾担任朗讯科技公司贝尔实验室下属的计算机科学研究中心系统软件研究部的主任一职。1978年与布莱恩·...
        

    丹尼斯·里奇,全名丹尼斯·麦卡利斯泰尔·里奇。C语言之父,UNIX之父。曾担任朗讯科技公司贝尔实验室下属的计算机科学研究中心系统软件研究部的主任一职。1978年与布莱恩·科尔尼干(Brian W. Kernighan)一起出版了名著《C程序设计语言(The C Programming Language)》,现在此书已翻译成多种语言,成为C语言方面最权威的教材之一。2011年10月12日(北京时间为10月13日),丹尼斯·里奇去世,享年70岁。

    肯·汤普逊 和丹尼斯·里奇

    美国计算机科学家,对C语言和其他编程语言、Multics和Unix等操作系统的发展做出了巨大贡献。里奇在哈佛大学学习物理学和应用数学毕业,1967年他进入贝尔实验室,是朗讯技术公司系统软件研究部门的领导人。1983年他与肯·汤普逊一起获得了图灵奖。理由是他们“研究发展了通用的操作系统理论,尤其是实现了UNIX操作系统”。1999年两人为发展C语言和Unix操作系统一起获得了美国国家技术奖章。在技术讨论中,他常被称为dmr,这是他在贝尔实验室的Email地址。在里奇的成长历程中,有两个人对他的影响最大,一个是他父亲,而另一个是他的挚友,同为UNIX发明人的肯·汤普逊。尤其是后者。 有人问过丹尼斯,他的偶像是谁,不论在计算机领域还是其他领域?他说:我不是在英雄熏陶下成长起来的。很显然,对我职业生涯影响最大的人物是肯·汤普逊。UNIX大部分是他的工作,同样也是C语言的前辈,同样Plan 9系统的大部分工作也是他做的。并且在这期间Ken做了第一个计算机象棋大师。

    在技术讨论中,他常被称为dmr,这是他在贝尔实验室的Email地址。

    2学习经历

    丹尼斯·里奇获得学士学位并且获得哈佛大学更高的学位,在那里以肄业生资格学习物理,以研究生资格学习应用数学。这时候,一个偶然的机会改变了他一生的选择。里奇这样描述他的转变,当他听取一些非课程类的计算机讲座后(大约1960年),开始对计算机着迷,并选择了一学期正规(介绍性的)课程。第一部分是模拟计算机,后面是关于打孔卡片设备的,然后是关于真正的数字式计算机的,并为Univac I号机准备了一个程序。当时他是一个主修物理学的学生,但是更加着迷于计算机处理的理论和实际问题。因此,他的毕业论文大部分是理论方面的(递归函数的层次),但是也开始投入更大精力到实践方面。作为助教为同一个介绍性课程的后续版本工作了三年——不过那时计算机已经成了IBM7049。 1968年获得数学博士,而论文正是上面的《递归函数的的层次》。1967年加入贝尔实验室,他的父亲阿利斯泰尔·里奇(Alistair E. Ritchie)在那里有长时间的工作经历,他的父亲对晶体管电路类的东西很有研究,正是由于父亲的影响,也使得他走上了科学研究之路。不久后,加入了Multics项目,那时由贝尔实验室、麻省理工学院和通用电器三家的合作项目。里奇负责多道处理机的BCPL语言和GE650的编译器,它们都是属于GECOS系统的。同样的,他也写了ALTRAN语言的代数编译器,那是用于符号计算机的一种语言和系统。[2]

    3个人著作

    The C Programming Language(即《C程序设计语言》)

    Unix Programmer's Manual

    4主要研究

    C++的开发者和设计师、里奇在贝尔实验室的同事比雅尼·斯特劳斯特鲁普说:“假如里奇决

    定在那十年里将他的精力花费在稀奇古怪的数学上,那么Unix将胎死腹中。” 事实上,丹尼斯·里奇与肯·汤普逊两人发展了C语言,同时发展了Unix操作系统,在电脑工业史上占有重要的席位。至今为止C语言在发展软件和操作系统时依然是一个非常常用的电脑语言,它对许多现代的编程语言如C++、C#、Objective-C、Java和JavaScript拥有极大的影响。在操作系统方面Unix也具有极大的影响:今天市场上有许多不同的Unix方言如AIX、Solaris、Mac OS X和BSD等,以及与Unix非常相似的系统如Minix和非常普及的Linux操作系统。甚至其Microsoft Windows操作系统与Unix相竞争的微软为他们的用户和开发者提供了与Unix相容的工具和C语言编译器。里奇还参加发展了Unix和C语言的两个后继软件:Plan 9和Inferno操作系统以及Limbo语言。两者均是基于他以前的工作上发展的。[4]

    5主要荣誉

    从二十世纪七十年代起,他的工作得到了很多计算机组织的公认和表彰,如:美国计算机协会(ACM)授予的系统及语言杰出论文奖(1974);电气和电子工程师协会(IEEE)的 Emmanuel Piore 奖(1982);贝尔实验室特别人员奖(1983);美国计算机协会(ACM)的图灵奖(1983); NEC公司的基金奖(1989);电气和电子工程师协会(IEEE)的优秀奖章(Hamming Medal)(1990) 等等。

    6人物逝世

    北京时间2011年10月13日上午,资料显示,美国著名计算机专家、C语言发明人、UNIX之父丹尼斯·里奇(Dennis Ritchie )已经于当地时间2011年10月12日去世(北京时间为2011年10月13日),享年70岁。

    7社会影响

    C语言是使用最广泛的语言之一,可以说,C语言的诞生是现代程序语言革命的起点,是程序设计语言发展史中的一个里程碑。自C语言出现后,以C语言为根基的C++、Java和C#等面向对象语言相继诞生,并在各自领域大获成功。但今天C语言依旧在系统编程、嵌入式编程等领域占据着统治地位。C语言,这种最有效、最通用的编程语言,就是他开发的,而这还是他在做另一个项目时的副产品。丹尼斯·里奇还和肯·汤普逊一起开发了Unix操作系统,因此,他还是名副其实的Unix之父。

    8社会评价

    著名的计算机科学家 N.Wirth评价他说, 丹尼斯里奇先生的专业精神令人感动,近40年如一日,在他所从事的领域辛勤耕耘,他的多项发明,包括C语言,Unix,也包括Plan9,无论哪一项,在软件发展史上都有着举足轻重的地位,和他的伟大成就形成对照的是他的行事,态度低调,他的表达,象他的软件一样,简洁生动而准确。 C++的成功,很大一部分也来自于C,是C语言的普及和深入,才有了后面的凤凰涅槃,从另一个角度,在同另一语言大师Pascal之父Niklaus Wirth交流时,C++的名字也是源自C语言的利器,Wirth先生不无惋惜地表示,后来他开发的语言可惜没叫Pascal2。

    “他是虔诚而纯粹的计算机天才,侵犯他人电脑是绝不干的。”潘嘉杰说。

    麻省理工大学计算机系的马丁教授评价说:如果说,乔布斯是可视化产品中的国王,那么里奇就是不可见王国中的君主。乔布斯的贡献在于,他如此了解用户的需求和渴求,以至于创造出了让当代人乐不思蜀的科技产品。然而,却是里奇先生为这些产品提供了最核心的部件,人们看不到这些部件,却每天都在使用着。

    克尼汉评价道:牛顿说他是站在巨人的肩膀上,如今,我们都站在里奇的肩膀上。

    展开全文
  • 控制论之父

    2019-03-25 08:52:11
    他于1948年在法国巴黎出版了一本名为《cybernetics》的书,创立了一门新的学科理论——控制论,也因此被誉为“控制论之父”。 从小就是神童 维纳在3岁半时已经可以独自阅读了,4岁开始读《博物史》还有关于行星...

    AI时代已经到来,未来几十年AI会越来越普遍,作为技术人员如果想不被浪潮淹没最好掌握这种基础技能,对AI有兴趣想入门的同学可以看看下面的课程:
    https://edu.csdn.net/topic/ai30?utm_source=wj
    https://edu.csdn.net/course/detail/6601?utm_source=wj

    控制论

    控制论是一门研究机器、生命社会中控制和通讯的一般规律的科学,是研究动态系统在变的环境条件下如何保持平衡状态或稳定状态的科学。

    如今的控制论早已不局限于工程自动化控制理论,还包含了生态控制论、环境控制论、能源控制论、人口控制论、社会控制论和经济控制论等学科理论。对于自然灾难,人类通过控制论寻找抵御灾难的办法。

    此外,这里再提一下钱学森的《工程控制论》,是钱老基于维纳的思想提出的关于工程问题的见解。钱老是我认为的拥有最天才大脑的两个华人之一,另一个是杨老。关于钱老的传奇,可以读读他的传记。

    控制论之父

    诺伯特·维纳,美国著名的数学家、麻省理工的教授。他于1948年在法国巴黎出版了一本名为《cybernetics》的书,创立了一门新的学科理论——控制论,也因此被誉为“控制论之父”。

    从小就是神童

    维纳在3岁半时已经可以独自阅读了,4岁开始读《博物史》还有关于行星系统光的性质等自然科学知识书籍。9岁的表姐跟维纳争吵张口闭口都提上帝,而维纳却直接否定了上帝,说是人们编出来的谎话。吓得表姐脸都白了,赶紧远离维纳,怕糟上帝的霹雳。

    父亲的影响

    父亲是一名现代语言学教授,当时在学术界小有名气,出版了几本书。父亲发现维纳从小就智力超群,并且专注对其的培养。父亲有个书房,里面有各种各样的书籍。包括小说、诗歌、语言学著作、汉语词典、科普丛书、博物学史、精神病学等等。

    纵使父亲书房有大量藏书,但仍然不能满足小维纳。于是他跑到邻居的另外一个数学教授家,维纳可以自由出入邻居家,阅读了大量领居家的藏书。父亲还经常会跟小维纳一起不用纸笔,只凭记忆来推导数学公式,使其受益终身。

    父亲平时很忙,为了使家里过上富裕的生活,他除了在哈佛大学教书搞学术外,还跟出版社合作做了大量的文字工作。但不管怎么忙,父亲还是亲自承担对儿子的教育。一般人们对神童的成就总是持怀疑态度,总觉得神童终有一天会江郎才尽,变成普通人。但父亲不想浪费维纳的超常智力,试探性地教维纳德语和数学,没想到维纳都轻松学会。

    小学和中学

    不到7岁已经上小学四年级,与其他神童一样,维纳各方面能力发展不平衡,而且因为年纪小而经常破坏课堂纪律。

    9岁维纳作为特殊学生进入中学,原本打算让他在初中各年级开始学,没想到维纳连初中三年级的大部分课程都学过了,结果维纳直接转入了高中一年级。维纳能像比他大7岁的学生一样背诵课文,也学习代数和几何,这些对他都只是复习,轻松极了。唯一使他感到困难的是社交,很多大龄学生会嘲弄他。

    大学

    11岁的维纳已经开始上大学了,入学面试中,四五位教授考官考了维纳代数、几何、德语、拉丁文、哲学等方面的知识。最终小维纳征服了考官,顺利进入大学。在大学中,维纳的求知欲极强,主攻数学。但也选学了哲学、心理学、工程学等等。

    最终维纳用了三年的时间读完了大学课程,并且以优异的成绩毕业了。

    成长的烦恼

    在顺利从大学毕业后,14岁的维纳心中围绕着两个大问题:我将来要做什么?我有成功的希望吗?对于14岁的年龄,出路看起来只有一个,那就是继续求学。

    因为维纳兴趣在生物,所以他选择了到哈佛大学研究院学习动物学。但他因为手脚笨拙、视力不佳、性情急躁等原因,最后在生物学上失败了。失败感让维纳心情很沉重。父亲要求维纳无条件改学哲学,并帮他想康奈尔大学申请了奖学金。

    此外,他还陷入另外一个烦恼中。他第一次知道自己是个犹太人,平日里他早已看惯了人们对犹太人的歧视和偏见,而且这种偏见也影响着他自己。但突然发现自己原来就是被人视为瘟疫的犹太人,这种痛苦可想而知。

    哲学之门

    17岁的维纳以哲学博士候选人的身份回到哈佛大学,学习哲学并非维纳所愿,但它只需要阅读和思考,并不用做任何观察和实验,这恰恰是维纳擅长的。所以学习任务完成得相对轻松。

    要想拿到博士学位,除了论文答辩,他还要通过专题考试和口试。专题考试是笔试,难不倒维纳。但口试就不同,它要求考生到各位主考教授家里,面对面地考试,这对不擅长交际的维纳来说十分恐惧。不过最终还是通过了口试。

    最终,维纳在18岁时,拿到了哲学博士学位。

    剑桥之行

    拿到博士学位后维纳恢复了自信,而且此时已经成年了,童年已逝,神童烦恼一去不复返。对于自己是犹太人也开始释怀,没必要因为是犹太人而自卑。

    在哈佛的最后一年,维纳申请到了旅行奖学金,于是有机会向罗素求学。罗素是何等人,大家可以看看罗素的传记。他在哲学、数学、物理学、历史、政治、教育、宗教等多方面都有造诣。罗素曾用10年写了三大卷《数学原理》,为数理逻辑的发展做出了卓越贡献。特别死他提出的“罗素悖论”震撼了数学界。数学家们用了几个世纪的努力才建立起的数学理论大厦,被罗素抽掉了大厦的基石。罗素悖论指出集合论只能给的集合概念存在着矛盾。

    在罗素的建议下,维纳对数学进行了深入研究,而且此后维纳还跟希尔伯特学习数学。希尔伯特是数学界的超级全才,他的研究领域几乎触及数学的各个分支,他也是个超级天才,大家可以读读他的传记。

    维纳的数学功底突飞猛进,最终决定深耕数学领域。

    年轻的数学家

    欧洲回到美国的维纳无论在学术上还是体魄上都已经成熟起来,但在事业上并不如意。维纳在哈佛大学哲学系做了一年助教后就被解聘了,当时数理逻辑还是一门新兴学科,所以无论是哲学界还是数学界都不注意这位新秀。

    24岁的时候,经父亲的哈佛大学数学系朋友的介绍,维纳到马萨诸塞理工学院数学系执教。受理工学院工程师文化的影响,维纳对物理中的数学越来越感兴趣,他不再沉湎于纯粹数学领域而转向应用数学领域。

    数学家的使命就是从无序中发现有序,维纳从办公室的窗往外看,变化无常的河水波光粼粼,时而温顺平滑时而浪花四溅。这些看上去杂乱无章,维纳却思考着如何用数学语言来描述大自然的这种复杂性。

    关于学科看法

    维纳认为各学科之间的划分,只是便于资金和人力分配的行政策略,而一个从事实际工作的科学家,应该打破这种划分。

    现代科学技术的发展,一方面使专家在越来越狭窄的领域内进行研究,一些科学家沦为狭隘分工的奴隶。另一方面,又出现了各学科互相交叉走向综合的趋势,很多问题需要多门学科共同研究。这两方面存在尖锐的矛盾。

    关于种族看法

    用于自己是犹太人,从小就饱受歧视。所以他鄙视美国社会中认为犹太人贪婪、爱尔兰人顽固、黑人懒惰等世俗的看法。他不认为哪个民族生来就高人一等,每个民族都有自己的长处与弊端。一个人的成功与否与他的民族出身无关,关键在后天的努力。

    《控制论》

    世界战争后,科学技术中心已经从欧洲转移到美国。战前的欧洲是世界科学技术中心,具有众多世界一流科学家。而战后老一辈科学家都去了美国,而新一代刚从战场上下来,还未成熟。

    出版商费来曼找到维纳,对维纳战时所做的工作很感兴趣,希望维纳把有关通讯自动化工厂和神经系统思想写成一本小册子。维纳欣然接受了,并当场确认了合同。

    维纳一开始就碰到难题,该取个什么书名才能确切表达自己的思想呢?刚开始想找一个表示“信使”的希腊语,但英语的意思又变为“天使”。找了好久,最后终于从控制领域找到一个表示“舵手”的希腊词,将其引入到英语,称为控制论(cybernetics)。

    维纳总结了以前自己的研究成果,将工程技术领域的控制、反馈等概念引入生物学和社会学领域。将信息通信工程中的概念推广到整个社会科学和自然科学领域。为自然科学、工程技术社会科学即各学科之间提供了彼此交流的语言。

    书中介绍了用电子元件组成的控制系统,使用统计方法研究信息的传递和加工,并指出如何用功能模拟法、黑箱方法等研究人的大脑和神经生理活动。还提出了许多诸如社会控制、机器能否思维等社会学及科学哲学问题。

    维纳的控制论主要是用时间序列观点处理信息的转换、提取、加工和预测。它依赖于系统的传递函数和频率特性,主要使用的数学工具是数理统计和调和分析。这套方法被称为“经典控制理论”。

    质疑

    《控制论》出版后,一些人对其大加赞扬,称誉他为继爱因斯坦后的天才科学家;另一些人对其横加指责,称其为招摇撞骗的位科学家。两个极端搞得维纳精神很紧张,好在他的妻子为其解惑。爱因斯坦刚发表狭义相对论时,全世界只有罗素、居里夫人在内的十几个人能理解他的理论。。。

    维纳想通了,及时调整了自己的处事方针,不去在意别人的评说,将大部分时间精力归还自己,他决定利用余生全力发展控制论。

    后来的发展

    20世纪80年代,控制论以全新的面貌出现在世人面前。人们通过研究如何从输入、输出数据,建立动态方程的学科从而发展处系统辨识理论。科学家们正在实现当年维纳的梦想——人工智能。

    今天的生活或多或少都受控制论的影响。发展出了很多分支:工业自动化、人工智能、神经控制论、生物行为控制论、医学控制论、生态控制论、环境控制论、资源控制论、种群控制论、发展环境控制论、能源控制论、人口控制论、社会控制论等等。

    国内的计划生育、植树造林、退耕还林、退田还湖等方针就是根据控制论得出的结论。

    -------------推荐阅读------------

    我的开源项目汇总(机器&深度学习、NLP、网络IO、AIML、mysql协议、chatbot)

    为什么写《Tomcat内核设计剖析》

    2018汇总数据结构算法篇

    2018汇总机器学习篇

    2018汇总Java深度篇

    2018汇总自然语言处理篇

    2018汇总深度学习篇

    2018汇总JDK源码篇

    2018汇总Java并发核心篇

    2018汇总读书篇


    跟我交流,向我提问:

    欢迎关注:

    展开全文
  • 纪念"信息论之父"香农的最好方式,莫过于重温一下他怎样定义信息熵的数学思想,去理解现代信息论这个基本概念——仅用初等代数即可推导,令人赏心悦目,流连忘返! 确定性过程在数学里是司空见惯的现象。...

    https://www.toutiao.com/a6685498360318657036/

     

    ​​撰文 | 丁玖(南密西西比大学数学教授)

    纪念"信息论之父"香农的最好方式,莫过于重温一下他怎样定义信息熵的数学思想,去理解现代信息论这个基本概念——仅用初等代数即可推导,令人赏心悦目,流连忘返!

     

    确定性过程在数学里是司空见惯的现象。众所周知,一个函数的迭代过程是确定性的,因为下一个迭代点完全由当前已知的迭代点唯一地确定。譬如混沌学中著名的逻辑斯蒂模型 f(x) = 4x(1-x) ,当x等于0.1时的函数值必为0.36,而不会等于0.35或0.37。同样,一个微分方程初值问题的解也是确定性的:解在任一时刻的值是唯一确定的一个数。

    然而,和确定性现象一样, 随机现象在自然界也是到处可见的。小孩子们喜欢猜硬币正反面的游戏:将一枚五分钱的平整硬币在桌上旋转,然后猛地用手把它拍倒按住,猜猜是钱的正面朝上还是反面朝上。即便旋转过一百次都是正面朝上,第一百零一次旋转后,硬币正面朝上的或然率还是同一个概率值:1/2。这就是典型的随机性,它意味着试验结果是不可确定的。如果历史上英国铸币局(牛顿(1643-1727)曾在这里当了几十年的局长)把钱币故意制成一个圆锥体陀螺形状,那么无论怎样旋转,待它最终停转时总是站在那里,也就是说正面总是朝上,这就是一个确定性的例子——旋转结果是可以预测的。人们认识到随机性的历史也许比数学史本身还要长,甚至可能就等于人类自己的历史——毕竟,孕妇肚子里怀的是儿子还是女儿,本身就是一个不可预测的随机事件问题。

    不确定性作为自然的基本属性,应该怎样用数学的语言去刻画呢?“”就是关于不确定性的一个极好的数学描述。历史上的熵概念起源于热力学。凡是学过热力学、统计物理或物理化学的人对“熵”这一术语都不陌生,但是这一概念发展的初始阶段却跟混沌思想并无任何历史瓜葛。实际上,当熵的名词诞生之时,混沌之祖庞加莱(Henri Poincare, 1854-1912)还只是一个乳臭未干的少年。当熵的触角从宏观的热力学伸展到微观的统计力学之后,才逐渐拉近它和混沌概念的距离。二十世纪中叶的一场信息论革命,无意中在古典熵的旧作坊内又酿造出醇香的新酒。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    十九世纪是物理学家大显身手的世纪。如果说十七世纪是宏观力学的乐园,十九世纪则是微观力学的会所。热力学和统计力学把眼光由外向里地从机械能转向到内能,熵概念的缓慢演化覆盖了那个世纪后半叶的前三十年。1865年,热力学奠基人之一、德国物理学家和数学家鲁道夫 • 克劳修斯(Rudolf Julius Emanuel Clausius, 1822-1888)第一次使用了“熵(entropy) ” (从意指“变换容度”的希腊词τροπή派生而来)作为热力学的专用名词,并赋予其数学形式。他用 “Sadi” 的第一个大写字母 S 作为熵的记号,大概是为了纪念熵理论先驱者之一、法国工程师萨迪 • 卡诺(Nicholas Leonard Sadi Carnot, 1796-1832)。他写道:“按照希腊词τροπή (trope) 的意思,我将 S 这个量称为系统的熵。我特别取熵这个词是为了让它与能量这个词尽可能相像:这两个词所表达的两个量在物理上如此密切相关,把它们的名字写得类似完全是合情合理的。” 他的一句名言 “宇宙之熵趋于无穷” 是热力学第二定律在孤立系统中无能量消耗情形下的推论;他的另一句断言 “宇宙总能量不变” 则是能量守恒定律的通俗说法。

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    第二年,24岁的玻尔兹曼(Ludwig Boltzmann, 1844-1906)在他关于气体动力学的奠基性论文中,给出了熵的另一形式。十一年后的1877年,他在统计热力学中把熵简单地定义为著名的“玻尔兹曼常数”乘上与宏观状态相容的微观状态的个数之对数。与早先把熵和热量传递捆绑在一起的做法不尽相同,玻尔兹曼把熵看成是无序分子运动紊乱程度的一种度量。这种新观点,被杨振宁先生(1922-)十分推崇的美国物理学家、化学家和数学家威拉德 • 吉布斯(Josiah Willard Gibbs, 1839-1903)精雕细琢,成为统计力学理论发展史上的里程碑之一。1995年夏,在中国厦门大学召开的第十九届国际统计物理大会(东道主学者郝柏林(1934-2018)时任会议主席)上,笔者曾听到与会讲话的杨振宁先生建议大家读读二十世纪初吉布斯那本启迪灵感的名著《统计力学的基本原理》(Elementary Principles in Statistical Physics, 1902)。吉布斯于1863年在耶鲁大学获得美国历史上第一个工程博士学位,并在这所老牌大学度过了他的整个学术生涯。他令蒸蒸日上的美国扬名天下,可惜墙内开花墙外香,在科学整体尚欠发达的祖国,吉布斯活着的时候声名未曾显赫,却在去世前两年被大西洋彼岸最强盛时期的英国授予了伦敦皇家学会的考普利奖(Copley Medal of the Royal Society of London)——诺贝尔奖之前全世界科学界名气最大的奖项。

    1. 信息熵

     

    对需要交流的人类而言,通讯犹如吃饭睡觉一样重要。就像人类不断探索水稻增产一样,不断改进通讯质量与速度的科学研究一直是全世界方兴未艾的事业。1948年,博士毕业后就在贝尔实验室里研究通讯技术的电子工程师克劳德 • 香农(Claude Shannon, 1916-2001)在《贝尔系统技术杂志》(Bell System Technology Journal)上分两期发表了他一生中也许是最有名的一篇论文:《通讯的数学理论》(A mathematical theory of communications,1948),引入了一条全新的思路,震撼了整个科学技术界,开启了现代信息论研究的先河。在这一伟大的贡献中,他引进的“信息熵”之一般概念举足轻重:它在数学上量化了通讯过程中“信息漏失”的统计本质,具有划时代的意义。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    克劳德 • 香农(Claude Shannon, 1916-2001)

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    香农生于美国密歇根州,本科毕业于“美国大学之母”密歇根大学。他儿时崇拜的英雄人物是大名鼎鼎的、造福全人类的美国大发明家托马斯 • 爱迪生(Thomas Alva Edison, 1847-1931),后来他发现这位英雄是他家的一个远亲。二十岁本科毕业时,他拿回了电子工程和数学两张学士文凭。而他在密西根大学修课时接触到英国数学家和哲学家乔治 • 布尔(George Boole, 1815-1864)最有名的工作“布尔代数”,成就了他二十一岁在麻省理工学院完成的题为《中继及开关电路的符号分析》(Symbolic analysis of relay and switching circuits,1937)的硕士学位论文。有人说这是二十世纪甚至人类历史上最有价值的硕士论文,因为它用布尔代数的理论首次表明对付真假李逵的“符号逻辑”与对付电路开关的“0-1数字”具有一致性,从而论证了数字计算机和数字线路的逻辑设计之可能性。

    香农最初并没有借用“熵”这个词汇来表达他关于信息传输中的“不确定性”的度量化。他甚至都不太知晓他所考虑的量与古典热力学熵之间的类似性。他想把它称为“information(信息)”,但又认为这个名词太过大众化,已被普通老百姓的日常话语用滥了。他又考虑过就用单词“uncertainty(不确定性)”,但它却更像抽象名词,缺乏量化的余地,确实难于定夺。终于有一天,他遇见了天才的数学家冯 • 诺依曼(John von Neumann, 1903-1957)。真是找对了人!冯·诺依曼马上告诉他:

    就叫它熵吧,这有两个好理由。一是你的不确定性函数已在统计物理中用到过,在那里它就叫熵。第二个理由更重要:没人真正理解熵为何物,这就让你在任何时候都可能进能退,立于不败之地。

     

    香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。譬如说,如果天气预报说“今天中午下雨的可能性是百分之九十”,我们就会不约而同想到出门带伞;如果预报说“有百分之五十的可能性下雨”,我们就会犹豫是否带伞,因为雨伞无用时确是累赘之物。显然,第一则天气预报中,下雨这件事的不确定性程度较小,而第二则关于下雨的不确定度就大多了。

    对于一般的不确定事件,我们怎样数学地刻画它的不确定程度呢?设想有n个“基本事件”,各自出现的概率分别为

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    则它们构成一个样本空间,可以简记为所谓的“概率数组”

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    样本空间最简单的例子是我们上面提到的抛硬币游戏,它只有两个基本事件:抛硬币结果是“正面朝上”或“反面朝上”,其中每个事件的概率均为 1/2,其对应的样本空间为 (1/2, 1/2)。如果铸币厂别出心裁地将硬币做成两面不对称,使得抛硬币时正面朝上的概率增加到7/10,而反面朝上的概率减少到3/10,则对应的样本空间就是 (7/10, 3/10)。如果我们用符号 H(1/2, 1/2) 来表示第一个样本空间的不确定度,用数 H(7/10, 3/10) 代表第二个样本空间的不确定度,那么直觉马上告诉我们:数 H(1/2, 1/2) 大于数 H(7/10, 3/10),也就是前者比后者更加不确定。

    更一般地,若用

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    记样本空间

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    所对应的不确定度,运用同样的直觉分析,我们相信当所有的基本事件机会均等,即都有同样的概率1/n时,其不确定度最大。因而,不确定度函数H应该满足如下的基本不等式:对所有的加起来等于1的非负“概率数”

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

     

     

    如果我们不抛硬币,而像澳门赌场的常客那样掷骰子,每掷一次,小立方骰子的每一个面朝上的概率均为1/6。想一想就知道,某个指定面朝上的不确定度应大于玩硬币时正面或反面朝上的不确定度。将这个直观发现一般化,我们就有不确定度函数H 应该满足的单调性要求:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    假设物理系赵教授、数学系钱教授和孙教授竞争理学院的一笔科研基金,他们每人申请成功的概率分别为1/2、1/3、1/6。院长为求公平,让每个系得此奖励的机会均等。若物理系拿到资助,就到了赵教授的名下。如数学系得到了它,钱教授有2/3的概率拿到,孙教授则有1/3的机会到手。通过分析“条件概率”,我们能得出不确定度 H(1/2, 1/3, 1/6) 的数值:这三个教授获得基金的不确定度,等于物理系或数学系拿到这笔基金的不确定度,加上数学系赢得该基金的概率与在数学系拿到基金的条件之下,钱教授或孙教授得到它的不确定度之乘积。换言之,H(1/2, 1/3, 1/6) = H(1/2, 1/2) + ½ H(2/3, 1/3)。推而广之,可以得出不确定度与条件概率有关的“加权和”性质:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    既然我们想用一个漂亮的数学公式来表达不确定度这一样本空间概率值函数,我们自然希望这个函数表达式和几乎所有的物理公式一样连续依赖于公式中的所有变元。这样,第四个条件就自然而然地加在了不确定度函数的头上:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    香农无需什么高深的数学,甚至连微积分都可不要,就证明了:任何在所有样本空间上都有定义的函数H,只要它满足以上的“三项基本原则 (2)(3)(4)”,就非如下的表达式莫属:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    其中符号 ln 代表以 e 为底的自然对数函数,C 可以是任意一个常数。并可证明,条件(1)自动满足(有兴趣的读者可用初等微积分证之)。当然,熵公式的证明需要的是一种创造的头脑思维、一手精湛的代数技巧、一个巧妙的极限思想。如果C取成玻尔兹曼常数,它就能和当年吉布斯在统计热力学中得到的“吉布斯熵”一模一样。香农取 C = 1,如此得到了非负函数:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    按照冯 • 诺依曼的建议,该函数被定义为样本空间 (p1, p2, …, pn) 所对应的信息熵。现在,这个数被广称为“香农熵”,以纪念它的创造者、信息论之父——香农。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    现在,为了满足读者追根求源的好奇心,我们在此给出一个高中生也能看懂的简单证明。这是活学活用初等代数的好机会,我们分三步来证明:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

     

    如上证明是我在1989年从我的博士导师李天岩教授于密歇根州立大学所作的公众报告中听到的。细看一下香农熵的公式,除了负号,它是基本函数 x ln x 的有限个函数值之和。这个函数的图像就像大厨师手中侧面看过去的长勺子。向上弯曲的曲线有几何性质:连接上面任意两点的直线段都在这两点之间的曲线段之上。运用初等微分学,读者可以证明,对任意两个正数a和b,有

     

    a – a ln a ≤ b – a ln b。

     

    这就是现在冠以吉布斯大名的初等不等式,在一切与熵有关的数学问题中均有上乘表现,比如说我们在下面的第3节就要用到它。

    当所有的概率值pi都取为1/n时,吉布斯熵就还原成玻尔兹曼熵,它可看成是最大可能的吉布斯熵。同理,这时的信息熵取值最大,等于 ln n。

    2. 柯尔莫果洛夫熵

     

    不到十年,香农熵就在离散动力系统的练武场上大展身手。这主要归功于三十年代就建立了公理化概率论的俄罗斯数学巨人柯尔莫果洛夫(Andrey N. Kolmogorov, 1903-1987)和他在遍历理论领域的最佳弟子西奈依(Yakov G. Sinai)。五十年代中期,柯尔莫果洛夫在考虑遍历理论的“共轭不变量”这一基本问题时开创了“度量熵”的理论,而他的门徒西奈依的工作则使得它日臻完美。度量熵揭示了一般非线性函数迭代最终走向的动态性质,从而和稍迟一点发展的混沌理论融合了起来

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    柯尔莫果洛夫(Andrey N. Kolmogorov, 1903-1987)

     

    柯尔莫果洛夫堪称俄罗斯民族二十世纪的庞加莱,在国际数学界备受尊崇。他的父亲于沙皇时期投身革命,被圣彼得堡当局驱逐,最后消失在内战之中。因母亲在生产过程中不幸去世,他随姨妈在富有的贵族外祖父的庄园中长大,并受到很好的早期教育。比冯 • 诺依曼大八个月的柯尔莫果洛夫一样是一个历史爱好者。十七岁进入莫斯科大学后,他参加了俄罗斯著名历史教授的讨论班,并写出了他一生中的第一篇论文,研究内容不是数学,而是四个世纪前的俄国一个城市的发展史。他颇为得意地问教授,该文可否发表?出乎他意料的回答是:“肯定不行!你的论据只有一个,对历史学而言太少了,起码得有五个论据才行。”这位严谨的教授应该成为国内某些发表论文心切的人文科学工作者的大楷模。但也正是这位打击学生信心的历史教授在无意之中把柯尔莫果洛夫推向了另一个五六岁时就萌芽的至爱,并令他矢志不渝——因为在数学中定理只需一个证明就够了!

    几乎在精心研究俄国历史的同时,年纪轻轻的柯尔莫果洛夫证明了集合论以及三角级数的几个结果。尤其是在1922年,他构造出一个几乎处处不收敛的三角级数,一下子成了令人瞩目的国际数学新星。在那一时刻,他立马决定“把一切献给数学”,他的决心就像兵工英雄吴运铎《把一切献给党》一样坚定。在半个世纪的数学生涯中,柯尔莫果洛夫大大推进了现代数学的许多分支领域的发展,如函数论、概率论、直觉主义数理逻辑、泛函分析、拓扑学、随机过程、经典力学、紊流、遍历理论、计算复杂性等等,被公认为二十世纪全人类最伟大的数学家之一。如果美国数学史家贝尔( Eric Temple Bell, 1883-1960)晚生五十年,也许他那本大作《数学大师:丛芝诺到庞加莱》(Men of Mathematics, 1937)会以柯尔莫果洛夫作为压轴戏,将他称为“最后的全能数学家”,而庞加莱则变成历史上“倒数第二个全能数学家”。

    西方物理学界有伟大的导师费米带出了一大批杰出的学生,甚至有好几个得了诺贝尔奖,可是西方没有哪个数学家会像柯尔莫果洛夫那样培养或影响一个接一个的天才学生。上世纪六十年代初曾让美国数学新星、1966年菲尔兹奖获得者斯梅尔(Stephen Smale, 1930-)惊羡的“动力系统四大才子”中的阿诺德(Vladimir I. Arnold, 1937-2010)和西奈依便是他的弟子。除此之外,柯尔莫果洛夫成果最辉煌、名声最响亮的学生是没有上过高中和大学就直接成为其博士生的犹太人伊斯雷 • 盖尔芳德(Israil Moiseevic Gelfand, 1913-2008)。在与其名Israil只有一个字母之差的犹太国度Israel(以色列) ,盖尔芳德和“物理女王”吴健雄(1912-1997)一同站在了第一届沃尔夫奖的领奖台上,甚至比他的老师还早了两年获此殊荣。按照华东师范大学数学系教授张奠宙 (1933-2019) 在其著作《二十世纪数学经纬》(2002)中所统计的,柯尔莫果洛夫直接指导过的学生有六十七人之多,可媲美孔子“贤弟子七十二”的记录,其中有十四人被选为苏联科学院院士或通讯院士(具体名册可见书本第368页),堪称中国孔圣人的强劲对手。

    东方数学界里,在培养学生方面或许能和柯尔莫果洛夫有“最佳逼近”距离的是中国最伟大的数学家华罗庚(1910-1985)。他门下的数论学家陈景润(1933-1996)证明了离哥德巴赫猜想最近的“1+2”情形,这一传世工作让二十世纪六七十年代的世界数学界再次对中国刮目相看。华罗庚的其他杰出弟子,如解析数论的王元(1930-)、多复变函数论的陆启铿(1927-2015)和龚升(1930-2010)、抽象代数学的万哲先(1927-)等,都是在国际上颇有影响的纯粹数学家。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    让我们再回到玩硬币的游戏,来经历一次柯尔莫果洛夫开发度量熵的思想之旅。但是,这一次我们不只注意抛一次硬币正面朝上或反面朝上的结果,而是一口气抛上好几次看看有多少种可能性发生。比如连续上抛两次,就有四种可能结果出现:正正、正反、反正、反反。因为第一次抛硬币结果对第二次结果毫无影响,它们是相互独立的,因而四种结果的每一次可能性均为四分之一。

    国外硬币的正面通常是本国名人头像,如美国放的就是历史上最伟大的几个总统。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    一分硬币(左)上面是亚伯拉罕 • 林肯(Abraham Lincoln, 1809-1865),五分硬币(下)上面马斯 • 杰弗逊(Thomas Jefferson, 1743-1826),一角硬币(上)上面是弗兰克 • 罗斯福(Franklin Delano Roosevelt, 1882-1945),一元硬币(右)上面乔治 • 华盛顿(George Washington, 1732-1799)。

     

    为简化书写,我们用英文字母H(Head,头)代表正面朝上,T(Tail,尾)代表反面朝上,这样两次抛硬币的所有可能性可以简记成:HH, HT, TH, TT。更一般地,若连续地抛上n次硬币,则有2n个可能结果,每一个结果的概率均为

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    ​每一个结果都是一个基本事件,我们就有了一个包含2n个基本事件的样本空间

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    其香农熵的值为 n ln 2。

    我们的直觉是,无论抛了多少次,对下一次的结果我们仍然心中无数。作为一个极端例子,假如抛了一百万次都是头像朝上,第一百万零一次呢?头像朝上还是尾巴朝上?阁下打赌的胜率如何?柯尔莫果洛夫对下面的问题大感兴趣:倘若已知连续抛了n次硬币的结果,接下来抛第n+1次的结果的不确定度到底是什么?

    让我们再来一点数学思维吧。数学家爱数字胜于爱符号。正如美国物理学家费恩曼(Richard Feynman, 1918-1988)生前所经常回忆到的,他那善于培养孩子好奇心的父亲很早就告诉他:知道事物的名称并不重要,重要的是知道其内容。熵在英文里叫entropy,在德文或法文里都是entropie,在俄文里是eнтропия。即便认得一百种语言的名词“熵”,却对它的意义知之甚少或一无所知,甚至不以为然,这只有孔乙己才可能做得到,或培养出孔乙己的私塾先生喜欢这样做。可是目前我们学校的一些教育方式本质上就是在这么做。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    我们用数字0代替H,数字1代替T。然后连续n次抛硬币的结果可用小数

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    来代表,其中小数点后面的每个数字非0即1。而这个数实际上可看成是0和1之间的一个数x的“二进制表示”。我们的双手有十个指头,日常生活中,我们最喜欢十进制了,它是如此的方便,不懂算术者也可扳扳指头计算。但是,如果一位学过计算机原理的人告诉我们11可以表示“周期三意味着混沌”中的那个数3,我们可能以为他是瞎说。不,他是对的,因为他用的是计算机中央处理器内运算所用的二进制!二进制最早在莱布尼兹(Gottfried Wilhelm Leibniz, 1646-1716)的著作中出现,他可称为人类历史上首位计算机科学家!十进制中,我们“逢十进一”,而在二进制中,就要“逢二进一”了。这样,在二进制中,自然数从小到大排列的前几个数是 1,10,11,100,101,它们分别是我们习以为常的十进制数 1,2,3,4,5。我们从小学的算术熟知,在十进制中小数0.31416可以被展开成“有限项级数”形式:

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    以此类推,在二进制中小数0.10011有展开式

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    这样,每一个二进制小数 x = 0.a1a2…an 都可以写成

     

     

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    现在我们把区间 [0,1] 一分为二:左边的半个区间 [0,1/2) 和右边的半个区间 [1/2,1]。注意,为了叙述严格起见,这两个子区间前一个是“左闭右开”的,后一个是“双边都闭”的,它们的交集为空集,亦即没有共同的元素。显而易见,若

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    则x属于 [0,1/2),若

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    1,则x位于 [1/2, 1] 之中。想想看

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    怎样确定x的位置?

    我们可以借用把 [0,1] 区间映到自身上的一个逐段线性的“加倍函数”来解释连续抛硬币的数学游戏。这个函数的定义是:当x大于或等于0并且小于1/2时函数值为2乘上x,而当x大于或等于1/2并且小于或等于1时函数值为2乘上x再减去1。更简单地说,这个函数就是将自变量加倍,再丢掉结果的整数部分。它的简洁表达式就是 f(x) = 2x (mod 1),其函数图像是两条斜率是2、彼此平行的斜线段。它是保持长度的,意思是任何子区间和它在 f 下的逆像都有相等的长度。一个区间在函数下的逆像是函数定义域中所有那些数的全体,这些数的函数值都落在该区间内,它可以通过函数图像画水平、垂直线得到。这个加倍函数不是处处连续的,在区间的中点1/2处有个跃度为1的跳跃性间断,这从图像上一眼就知。用更专业的术语讲,它是一个“勒贝格可测函数”。加倍函数和逻辑斯蒂模型一样,都是混沌学家教书时宠爱的混沌例子。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    f(x) = 2x (mod 1),x∈[0,1]

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    动力系统寻找的是过程的终极行为。当自然数n走向无穷大时,上述不确定度的极限值就被称为函数 f 关于划分 P 的熵。这个熵值依赖于函数定义域区间 [0,1] 的划分。该定义域可以被划分为任意有限多个彼此互不相交的子集之并,而不同的划分一般给出不同的熵值。定义域的所有划分所对应的熵的“最大值”(更严格地说,是对应于所有的有限划分的熵值之“最小上界”,因为无穷个数放在一起可能找不到最大数,比如所有比3小的正数没有最大值,但其最小上界为3)就叫做 f 的柯尔莫果洛夫熵又称为测度熵或度量熵,因为它用的是勒贝格所开创的一般测度论工具来度量保测函数迭代最终性态的混乱程度。

    我们用来描绘硬币游戏的这个加倍函数的度量熵等于2的自然对数:ln 2 。请注意,这是一个正数。如今动力学家们都已知道,具有正熵的确是混沌动力系统的一个典型性质。同法可知,将自变量增加六倍后再丢掉结果整数部分的“六倍函数”(数学上这个函数可写成 6x(mod 1)的形式,图像是六根斜率为6的平行斜线,其不连续点为 1/6, 1/3, 1/2, 2/3, 5/6),它的测度熵则为 ln 6。六倍函数可以看成是掷六面骰子(有六种均等机会出现)结果之不确定度。“十倍函数” 10x(mod 1) 的熵是 ln 10,而“百倍函数” 100x(mod 1) 的熵则跳到 ln 100了,依次类推。倍数越提高,熵值越变大,不确定度就越可观,这就是为何在无线通讯中,工程师们常用高度混沌的“高倍函数”参与信号的传输。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    二倍函数f(x) = 2x(mod 1)(左)与十倍函数f(x) = 10x(mod 1)(右)的图像对比。

    柯尔莫果洛夫熵是遍历理论中的一个极其有用的共轭不变量,即彼此共轭的保测函数共享同一熵值。事实上,早在1943年,人们就已经知道以概率论先驱雅各布 • 伯努利(Jacob Bernoulli, 1654-1705)名字命名的、定义在0、1两个符号构成的双向序列符号空间上的“(1/2,1/2)-双边移位”和定义在0、1、2三个符号构成的双向序列符号空间上的“(1/3,1/3,1/3)-双边移位”都具有数目和自然数一样多的“勒贝格谱点”,因而它们两兄弟是谱同构的。但数学家们一直弄不清楚它们是否也共轭,即:这两个符号空间之间是否存在一个保测同构,使得一个位移与它的复合运算和它与另一个位移的复合运算结果完全是一码事?1958年,正当遍历理论家们为这个基本的未决问题绞尽脑汁之时,柯尔莫果洛夫刚刚产下了的“熵”马上派上了大用场:他经过计算发现这两个伯努利双边移位具有不同的熵值,前一个为 ln 2,后一个则为 ln 3,故它们不可能是共轭等价的。

    大数学家的手一旦扭转乾坤,共轭难题的一旦解决,熵马上成了动力系统行家们争相一抱的宠儿。很快,基于紧拓扑空间有限开覆盖概念、用于探索连续函数迭代渐近性态的“拓扑熵”在柯尔莫果洛夫熵的思想指引下由西方数学铺子的三大“铁匠” R. Adler, A. Konhein 和 M. McAndrew 锻造出炉,并和柯尔莫果洛夫基于测度概念的“度量熵”密切相关,成为研究拓扑动力系统混沌性质的好工具。只要把紧拓扑空间的有限开覆盖中的每个开子集看成所谓的波雷尔可测集,拓扑熵和柯尔莫果洛夫测度熵的数学推导过程颇为类似;文末参考文献[1]给出了一个初等的推导。举一个简单的例子,著名的混沌映射之一“帽子函数”有拓扑熵 ln 2,它也等于其柯尔莫果洛夫熵。

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    Hat function

    3. 玻尔兹曼熵

     

    玻尔兹曼熵可以看成是离散形式的香农熵在连续形式下的对等物。让我们回忆一下,对应于有限样本空间

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    ​的香农熵为

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    它看上去像某个被积函数的黎曼和。这引导我们走向定义一般密度函数的玻尔兹曼熵。为避免使用高深的测度论语言,我们只考虑 [0,1] 区间上的可积函数全体,用符号

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    表示。这里的积分应该指的是数学系大三或大四才学的实变函数论里的勒贝格积分,但低年级的大学生可以把它想象成初等微积分中的黎曼积分;至少对连续的函数,这两种积分是一样的。可积的非负函数并且积分值为1则称为密度函数

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    1957年,美国物理学家埃德温 • 杰恩斯(Edwin T. Jaynes, 1922-1998)在他分两次发表、至今已被引用了将近12000次的论文《信息论与统计物理》[2] 中首次提出了“最大熵原则”。这个原则大致是说,当一个未知的概率密度函数的某些“可试验信息”(例如有限多个的矩量或期望值)已知但却不能唯一地确定该密度函数时,合理采用的未知密度函数最佳逼近应是具有最大玻尔兹曼熵的那个密度函数,因它最不带有“偏见” (least biased)。根据最大熵定理,这个具有最大熵的密度函数不光是存在的,而且它可以通过矩量函数的某个线性组合与指数函数的复合函数,再标准化成一个密度函数来得到,只要这个特殊形式的密度函数具有和未知密度函数一模一样的那些已知矩量值。

    这样一来,杰恩斯的最大熵原则成就了数值重获未知密度函数的一个叫做“最大熵方法”的计算程式。事实上,六十年来,这是数学物理学家和工程师经常采用的一种“密度计算法”。杰恩斯终生在美国圣路易市华盛顿大学任教,1984年,物理系浓厚的最大熵氛围熏陶出一位名叫劳伦斯 • 米德(Lawrence R. Mead, 1948-)的博士。退休前他和笔者在同一所大学执教并合写过文章,是个很会教书、获得过两次校级教学奖的物理教授。米德一生中最有名的研究工作大概就是获得博士学位那年在《数学物理杂志》上发表的一篇合作论文[3],至今为止每年都有不少人引用。在这篇题为《矩量问题中的最大熵》的文章里,作者证明了最大熵方法的弱收敛性,而这种收敛性对于物理学家考虑的许多问题来说已经是绰绰有余了。数学家则感到不够劲,于是就有两位加拿大的数学家乔纳森 • 博旺(Jonathan M. Borwein, 1951-)和艾德里安 • 刘易斯(Adrian S. Lewis, 1962-)在九十年代初严格证明了最大熵方法的强收敛。

    在最大熵方法中,传统的做法基本上是用单项式

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

     

     

    来计算密度函数的对应矩量,但在计算数学家的眼里,这是代价极大的数值处理,因为算法极不稳定,用数值代数学家的行话说就是“条件数太大了”。难怪物理学家们能用到十来个矩量就感觉不得了了。对孜孜以求数值收敛性的计算数学家们来说,这怎么能过瘾呢。于是,一个新的想法[4]应运而生:把有限元的逐段多项式思想与最大熵原则相结合。这个算法借用了有限元空间基底函数“一的分解”的好性质,第一次用到与混沌有关的“不变密度函数”的数值计算上,条件数出奇地小,并且用到一百个甚至一千个矩量值也不在话下。

    如今,五花八门的熵:信息熵、度量熵、拓扑熵、玻尔兹曼熵,加上定量刻画“对初始条件敏感性”的李亚普洛夫(Alexandre Mikhailovich Liapunov, 1857-1918, 俄国数学家,以微分方程稳定性理论著称于世)指数,再加上遍历性、混合性、可递性等用统计观点看混沌的基本概念,一起组成了混沌、分形领域里克敌制胜的十八般兵器。

    参考文献

    [1] “Entropy - an introduction,” Jiu Ding and Tien-Yien Li, NankaiSeries in Pure and Applied Mathematics and Theoretical Physics, Volume 4, WorldScientific, 26-53, 1993.

    [2] Information theory and statistical physics, Physics Review 106(4), 620-630, 1957; Information theory and statistical physics, Physics Review 108(2), 171-190, 1957

    [3] L.R. Mead and N. Papanicolaou, Maximum entropy in the problem of moments, J. Math. Phys. 25, 2404–2417, 1984.

    [4] J. Ding, C. Jin, N. Rhee, and A. Zhou, ``A maximum entropy method based on piecewise linear functions for the recovery of a stationary density of interval mappings,’’ J. Stat. Phys. 145, 1620-1639, 2011.

     

     

    信息熵是怎样炼成的 | 纪念信息论之父香农

    展开全文
  • C语言之父 UNIX之父 Dennis M. Ritchie

    千次阅读 2011-10-06 17:32:39
    Dennis M Ritchie(丹尼斯·里奇), C语言之父,UNIX之父。 C语言是使用最广泛的语言之一,可以说,C语言的诞生是现代程序语言革命的起点,是程序设计语言发展史中的一个里程碑。自C语言出现后,以C语言为根基的...
  • 几何之父欧几里得的故事

    千次阅读 2017-11-30 15:49:35
    欧几里得(公元前325-公元前265 )是古希腊著名数学家,他的著作《几何原本》闻名于世,2000多年来都被看作学习几何的标准课本,所以欧几里得被人们称为几何之父。没有谁能够像欧几里得那样,声誉经久不衰。
  • 数学-代数代数

    2019-05-21 11:28:00
    ylbtech-数学-代数代数 代数是研究数、数量、关系、结构与代数方程(组)的通用解法及其性质的数学分支。初等代数一般在中学时讲授,介绍代数的基本思想:研究当我们对数字作加法或乘法时会发生什么,以及...
  • 提出仿真系统和自动程序设计概念,设计了"图灵测试",有"计算机之父","人工智能之父","破译之父"等美誉。 一、生平1912年6月23日,出生于英国伦敦1931年-1934年,在英国剑桥大学国王学院学习1932年-1935年,研究量子...
  • 代数-抽象代数

    千次阅读 2020-10-23 22:45:04
    代数数域可写作 可以证明对Q的任何有限扩张 (其中是代数数),均可找到一个代数数使得 ,因此只要考虑单扩张即可 (18)p-进绝对值:设p为素数,对任一有理数 ,a可写成 的形式,则 称为a的p-进绝对值。...
  • STL之父访谈录

    千次阅读 2004-11-20 17:00:00
    STL之父访谈录 STL之父访谈录 翻译者 : myan 出处: http://www.sgi.com/technology/stl 1995年3月,dr.dobbs journal特约记者, 著名技术书籍作家al stevens采访了stl创始人alexander stepanov. 这份访谈纪录是...
  • 人工智能线性代数应用

    千次阅读 2020-04-16 17:10:52
    线性代数 上一部分介绍了机器学习的本质是找到一个最优化的映射关系,也就是函数/模型。接下来几章我会陆续给大家介绍AI的数学基础,本章将首先给大家介绍线性代数如何应用于AI。 1. 从初等函数到高等数学 一元线性...
  • 数字计算机之父——冯·诺依曼

    千次阅读 2017-10-15 11:54:50
    数字计算机之父——冯·诺依曼 提到计算机之父,很多人的第一想法就是阿兰图灵,而图灵也无愧这个称号,他清晰的定义了计算,定义出了通用机,同时证明了计算模型之间的等价,以及计算模型的极限。但是若说谁是...
  • 计算机科学之父--图灵

    千次阅读 2020-07-06 19:51:06
    计算机科学之父艾伦·麦席森·图灵个人简介图灵人物生平主要成就可计算性理论判定问题电子计算机人工智能数理生物学图灵试验人物评价主要荣誉亲属成员后世纪念图灵奖首相致歉女王赦免英国情报机构道歉百年纪念英国50...
  • 艾伦·麦席森·图灵(英语:Alan Mathison Turing,1912年6月23日—1954年6月7日),英国数学家、逻辑学家,被称为计算机科学之父,人工智能之父。1931年图灵进入剑桥大学国王学院,毕业后到美国普林斯顿大学攻读...
  • 冯·诺依曼(John von Neumann,1903年12月28日-1957年2月8日),美籍匈牙利数学家、计算机科学家、博弈论、核武器和生化武器等领域内的科学全才之一,被后人称为“现代计算机之父”、“博弈论之父”。    ...
  • 【抽象代数代数系统、群与商群 一、代数系统 1.1 运算律 我们已经知道函数的概念,它表示集合间的一种映射关系。当像和原像是同一集合时,便是抽象代数中常讨论的函数了。一元函数 f: A↦A 也被称为集合 A 上的...
  • 1972 年,我取得了在斯坦福大学的博士学位,我返回新西兰并以为我会就此永远待在新西兰,但斯坦福大学教授 George Dantzig,线性代数之父,他开始了系统优化实验室(SOL)计划,并且邀请我回到斯坦福。 在我参与...
  • 关注我们丨文末赠书提到区块链,大家想到的就是比特币和“比特币之父”中本聪吗?但你知道吗,没有区块链之父的贡献,比特币也就不会被创造出来。但斯科特·斯托内塔(W. Scott Storn...
  • 6月21日,图灵奖得主、贝叶斯网络之父 Judea Pearl 在第二届北京智源大会上做了《新因果科学与数据科学、人工智能的思考》的报告。 北京智源大会是智源研究院主办的年度国际性人工智能高端学术交流活动,2019年举办...
  • 艾伦·麦席森·图灵(Alan Mathison Turing,1912年6月23日-1954年6月7日),英国数学家、逻辑学家,被称为计算机科学之父,人工智能之父
  • 计算机之父—— 约翰·冯·诺依曼

    千次阅读 2017-10-17 18:46:45
    冯·诺依曼(John von Neumann,1903~1957),20世纪最重要的数学家之一,在现代计算机、博弈论、核武器和生化武器等诸多领域内有杰出建树的最伟大的科学全才之一,被后人称为“计算机之父”和“博弈论之父”。...
  • 1930年接受了普林斯顿大学客座教授的职位,西渡美国.1931年成为该校终身教授.1933年转到该校的高级研究所,成为最初六位教授一,并在那里工作了一生.冯·诺依曼是普林斯顿大学、宾夕法尼亚大学、哈佛大学、...
  • 艾伦·麦西森·图灵,在如今你或许对这个名字有些许陌生,但是如果说”计算机之父图灵“你一定对他这个头衔如雷贯耳,每个杰出的人才从小都会展现出与众不同的天赋,他们不会埋没在人堆里,图灵也不例外。...
  • (点击上方公众号,可快速关注)编译: 前端大全/学以致用...他是 Node.js 之父,Node.js 是一个基于 Chrome V8 JavaScript 引擎的 JS 运行环境。现在他从事深度学习研究项目,工作重点是彩色化和超分辨率等图像转换
  • 最后,为了尽可能保持 Python 的可读性,标点符号使用应该符合书面英语或高等代数中的常用用法,除非遇上了编程语言里的历史传统(比如用 x * y 表示乘法)。 就像 Guido 所说的那样,这些设计哲学正是让 Python ...
  • STL之父访谈录

    2006-11-09 17:20:00
    STL之父访谈录 来源:myan 作者:Alexander Stepanov 等级:一般 发布于2005-10-22 22:52 【字体:大 中 小】 翻译者: myan出
  • 软件简洁之美——C语言之父Dennis Ritchie访谈Dennis M. Ritchie其人图:C语言之父Dennis M Ritchie(丹尼斯·里奇), C语言之父,UNIX之父。生于1941年9月9日,哈佛大学数学博士。现在,Dennis M. Ritchie 担任...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,604
精华内容 3,041
关键字:

代数之父