精华内容
下载资源
问答
  • 动态贝叶斯网络推理

    2012-04-20 11:58:37
    讲解动态贝叶斯网络原理与应用 pdf文档
  • 动态贝叶斯网络

    2018-04-13 19:34:26
    动态贝叶斯网络(Dynamic Bayesian Network, DBN),是一个随着毗邻时间步骤把不同变量联系起来的贝叶斯网络。这通常被叫做“两个时间片”的贝叶斯网络,因为DBN在任意时间点T,变量的值可以从内在的回归量和直接...
  • 贝叶斯网络原理

    2012-05-23 17:19:16
    非常好,简单易懂,不错的东东。
  • 动态贝叶斯网络推理学习理论及应用(肖秦琨),对贝叶斯网络较详细讲解
  • 从贝叶斯方法谈到贝叶斯网络

    万次阅读 多人点赞 2014-11-10 19:04:49
    从贝叶斯方法谈到贝叶斯网络 0 引言 事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少,比如《数理统计学简史》,以及《统计决策论及贝叶斯分析 James O.Berger著》等等,然介绍贝叶斯网络...

     从贝叶斯方法谈到贝叶斯网络

     

    0 引言

        事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少,比如《数理统计学简史》,以及《统计决策论及贝叶斯分析 James O.Berger著》等等,然介绍贝叶斯网络的中文资料则非常少,中文书籍总共也没几本,有的多是英文资料,但初学者一上来就扔给他一堆英文论文,因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的(当然,有了一定的基础后,便可阅读更多的英文资料)。

        11月9日上午,机器学习班 第9次课讲贝叶斯网络,帮助大家提炼了贝叶斯网络的几个关键点:贝叶斯网络的定义、3种结构形式、因子图、以及Summary-Product算法等等,知道了贝叶斯网络是啥,怎么做,目标是啥之后,相信看英文论文也更好看懂了。

        故本文结合课程讲义及相关参考资料写就,从贝叶斯方法讲起,重点阐述贝叶斯网络,依然可以定义为一篇读书笔记或学习笔记,有任何问题,欢迎随时不吝指出,thanks。

     

     

    1 贝叶斯方法

        长久以来,人们对一件事情发生或不发生的概率,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且概率虽然未知,但最起码是一个确定的值。比如如果问那时的人们一个问题:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率是多少?”他们会想都不用想,会立马告诉你,取出白球的概率就是1/2,要么取到白球,要么取不到白球,即θ只能有一个值,而且不论你取了多少次,取得白球的概率θ始终都是1/2,即不随观察结果X 的变化而变化。

        这种频率派的观点长期统治着人们的观念,直到后来一个名叫Thomas Bayes的人物出现。

    1.1 贝叶斯方法的提出

        托马斯·贝叶斯Thomas Bayes(1702-1763)在世时,并不为当时的人们所熟知,很少发表论文或出版著作,与当时学术界的人沟通交流也很少,用现在的话来说,贝叶斯就是活生生一民间学术“屌丝”,可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”,翻译过来则是:机遇理论中一个问题的解。你可能觉得我要说:这篇论文的发表随机产生轰动效应,从而奠定贝叶斯在学术史上的地位。

                

        事实上,上篇论文发表后,在当时并未产生多少影响,在20世纪后,这篇论文才逐渐被人们所重视。对此,与梵高何其类似,画的画生前一文不值,死后价值连城。

        回到上面的例子:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率θ是多少?”贝叶斯认为取得白球的概率是个不确定的值,因为其中含有机遇的成分。比如,一个朋友创业,你明明知道创业的结果就两种,即要么成功要么失败,但你依然会忍不住去估计他创业成功的几率有多大?你如果对他为人比较了解,而且有方法、思路清晰、有毅力、且能团结周围的人,你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式,便是贝叶斯式的思考方式。

        继续深入讲解贝叶斯方法之前,先简单总结下频率派与贝叶斯派各自不同的思考方式:

    • 频率派把需要推断的参数θ看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;
    • 而贝叶斯派的观点则截然相反,他们认为参数是随机变量,而样本X 是固定的,由于样本是固定的,所以他们重点研究的是参数的分布。

        相对来说,频率派的观点容易理解,所以下文重点阐述贝叶斯派的观点。

        贝叶斯派既然把看做是一个随机变量,所以要计算的分布,便得事先知道的无条件分布,即在有样本之前(或观察到X之前),有着怎样的分布呢?

        比如往台球桌上扔一个球,这个球落会落在何处呢?如果是不偏不倚的把球抛出去,那么此球落在台球桌上的任一位置都有着相同的机会,即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布,或的无条件分布。

        至此,贝叶斯及贝叶斯派提出了一个思考问题的固定模式:

    • 先验分布 + 样本信息 后验分布

        上述思考模式意味着,新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布,在得到新的样本信息后,人们对的认知为

            其中,先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决,解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如,某工厂每天都要对产品进行质检,以评估产品的不合格率θ,经过一段时间后便会积累大量的历史资料,这些历史资料便是先验知识,有了这些先验知识,便在决定对一个产品是否需要每天质检时便有了依据,如果以往的历史资料显示,某产品的不合格率只有0.01%,便可视为信得过产品或免检产品,只每月抽检一两次,从而省去大量的人力物力。

        而后验分布一般也认为是在给定样本的情况下的条件分布,而使达到最大的值称为最大后验估计,类似于经典统计学中的极大似然估计。

        综合起来看,则好比是人类刚开始时对大自然只有少得可怜的先验知识,但随着不断观察、实验获得更多的样本、结果,使得人们对自然界的规律摸得越来越透彻。所以,贝叶斯方法既符合人们日常生活的思考方式,也符合人们认识自然的规律,经过不断的发展,最终占据统计学领域的半壁江山,与经典统计学分庭抗礼。

        此外,贝叶斯除了提出上述思考模式之外,还特别提出了举世闻名的贝叶斯定理。

    1.2 贝叶斯定理

        在引出贝叶斯定理之前,先学习几个定义:

    • 条件概率(又称后验概率)就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B),读作“在B条件下A的概率”。

    比如,在同一个样本空间Ω中的事件或者子集A与B,如果随机从Ω中选出的一个元素属于B,那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率,所以:P(A|B) = |A∩B|/|B|,接着分子、分母都除以|Ω|得到

    • 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者
    • 边缘概率(又称先验概率)是某个事件发生的概率。边缘概率是这样得到的:在联合概率中,把最终结果中那些不需要的事件通过合并成它们的全概率,而消去它们(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率),这称为边缘化(marginalization),比如A的边缘概率表示为P(A),B的边缘概率表示为P(B)。 

        接着,考虑一个问题:P(A|B)是在B发生的情况下A发生的可能性。

    1. 首先,事件B发生之前,我们对事件A的发生有一个基本的概率判断,称为A的先验概率,用P(A)表示;
    2. 其次,事件B发生之后,我们对事件A的发生概率重新评估,称为A的后验概率,用P(A|B)表示;
    3. 类似的,事件A发生之前,我们对事件B的发生有一个基本的概率判断,称为B的先验概率,用P(B)表示;
    4. 同样,事件A发生之后,我们对事件B的发生概率重新评估,称为B的后验概率,用P(B|A)表示。

        贝叶斯定理便是基于下述贝叶斯公式:

        上述公式的推导其实非常简单,就是从条件概率推出。

        根据条件概率的定义,在事件B发生的条件下事件A发生的概率是

        同样地,在事件A发生的条件下事件B发生的概率

        整理与合并上述两个方程式,便可以得到:

        接着,上式两边同除以P(B),若P(B)是非零的,我们便可以得到贝叶斯定理的公式表达式:

        所以,贝叶斯公式可以直接根据条件概率的定义直接推出。即因为P(A,B) = P(A)P(B|A) = P(B)P(A|B),所以P(A|B) = P(A)P(B|A)  / P(B)。

    1.3 应用:拼写检查

        经常在网上搜索东西的朋友知道,当你不小心输入一个不存在的单词时,搜索引擎会提示你是不是要输入某一个正确的单词,比如当你在Google中输入“Julw”时,系统会猜测你的意图:是不是要搜索“July”,如下图所示:

        这叫做拼写检查。根据谷歌一员工写的文章显示,Google的拼写检查基于贝叶斯方法。下面我们就来看看,怎么利用贝叶斯方法,实现"拼写检查"的功能。

        用户输入一个单词时,可能拼写正确,也可能拼写错误。如果把拼写正确的情况记做c(代表correct),拼写错误的情况记做w(代表wrong),那么"拼写检查"要做的事情就是:在发生w的情况下,试图推断出c。换言之:已知w,然后在若干个备选方案中,找出可能性最大的那个c,也就是求的最大值。
        而根据贝叶斯定理,有:

      

        由于对于所有备选的c来说,对应的都是同一个w,所以它们的P(w)是相同的,因此我们只要最大化

        即可。其中:

    • P(c)表示某个正确的词的出现"概率",它可以用"频率"代替。如果我们有一个足够大的文本库,那么这个文本库中每个单词的出现频率,就相当于它的发生概率。某个词的出现频率越高,P(c)就越大。比如在你输入一个错误的词“Julw”时,系统更倾向于去猜测你可能想输入的词是“July”,而不是“Jult”,因为“July”更常见。
    • P(w|c)表示在试图拼写c的情况下,出现拼写错误w的概率。为了简化问题,假定两个单词在字形上越接近,就有越可能拼错,P(w|c)就越大。举例来说,相差一个字母的拼法,就比相差两个字母的拼法,发生概率更高。你想拼写单词July,那么错误拼成Julw(相差一个字母)的可能性,就比拼成Jullw高(相差两个字母)。值得一提的是,一般把这种问题称为“编辑距离”,参见博客中的这篇文章。

        所以,我们比较所有拼写相近的词在文本库中的出现频率,再从中挑出出现频率最高的一个,即是用户最想输入的那个词。具体的计算过程及此方法的缺陷请参见这里

     

    2 贝叶斯网络

    2.1 贝叶斯网络的定义

        贝叶斯网络(Bayesian network),又称信念网络(Belief Network),或有向无环图模型(directed acyclic graphical model),是一种概率图模型,于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型,其网络拓朴结构是一个有向无环图(DAG)。 

        贝叶斯网络的有向无环图中的节点表示随机变量,它们可以是可观察到的变量,或隐变量、未知参数等。认为有因果关系(或非条件独立)的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“因(parents)”,另一个是“果(children)”,两节点就会产生一个条件概率值。

        总而言之,连接两个节点的箭头代表此两个随机变量是具有因果关系,或非条件独立

        例如,假设节点E直接影响到节点H,即E→H,则用从E指向H的箭头建立结点E到结点H的有向弧(E,H),权值(即连接强度)用条件概率P(H|E)来表示,如下图所示:

        简言之,把某个研究系统中涉及的随机变量,根据是否条件独立绘制在一个有向图中,就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖,用圈表示随机变量(random variables),用箭头表示条件依赖(conditional dependencies)。

        令G = (I,E)表示一个有向无环图(DAG),其中I代表图形中所有的节点的集合,而E代表有向连接线段的集合,且令X = (Xi)i ∈ I为其有向无环图中的某一节点i所代表的随机变量,若节点X的联合概率可以表示成:

        则称X为相对于一有向无环图G 的贝叶斯网络,其中,表示节点i之“因”,或称pa(i)是i的parents(父母)。 

        此外,对于任意的随机变量,其联合概率可由各自的局部条件概率分布相乘而得出:

        

        如下图所示,便是一个简单的贝叶斯网络:

        因为a导致b,a和b导致c,所以有

    2.2 贝叶斯网络的3种结构形式

        给定如下图所示的一个贝叶斯网络:

        从图上可以比较直观的看出:

    • 1. x1,x2,…x7的联合分布为

    • 2. x1和x2独立(对应head-to-head);
    • 3. x6和x7在x4给定的条件下独立(对应tail-to-tail)。

        根据上图,第1点可能很容易理解,但第2、3点中所述的条件独立是啥意思呢?其实第2、3点是贝叶斯网络中3种结构形式中的其中二种。为了说清楚这个问题,需要引入D-Separation(D-分离)这个概念。

        D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之,对于一个DAG(有向无环图)E,D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。

    2.2.1 形式1:head-to-head

        贝叶斯网络的第一种结构形式如下图所示:

        所以有:P(a,b,c) = P(a)*P(b)*P(c|a,b)成立,化简后可得:

        即在c未知的条件下,a、b被阻断(blocked),是独立的,称之为head-to-head条件独立,对应本节中最开始那张图中的“x1、x2独立”。

    2.2.2 形式2:tail-to-tail

        贝叶斯网络的第二种结构形式如下图所示

        考虑c未知,跟c已知这两种情况:

    1. 在c未知的时候,有:P(a,b,c)=P(c)*P(a|c)*P(b|c),此时,没法得出P(a,b) = P(a)P(b),即c未知时,a、b不独立。
    2. 在c已知的时候,有:P(a,b|c)=P(a,b,c)/P(c),然后将P(a,b,c)=P(c)*P(a|c)*P(b|c)带入式子中,得到:P(a,b|c)=P(a,b,c)/P(c) = P(c)*P(a|c)*P(b|c) / P(c) = P(a|c)*P(b|c),即c已知时,a、b独立。

        所以,在c给定的条件下,a,b被阻断(blocked),是独立的,称之为tail-to-tail条件独立,对应本节中最开始那张图中的“x6和x7在x4给定的条件下独立”。

    2.2.3 形式3:head-to-tail

        贝叶斯网络的第三种结构形式如下图所示:

        还是分c未知跟c已知这两种情况:

    1. c未知时,有:P(a,b,c)=P(a)*P(c|a)*P(b|c),但无法推出P(a,b) = P(a)P(b),即c未知时,a、b不独立。
    2. c已知时,有:P(a,b|c)=P(a,b,c)/P(c),且根据P(a,c) = P(a)*P(c|a) = P(c)*P(a|c),可化简得到:

        所以,在c给定的条件下,a,b被阻断(blocked),是独立的,称之为head-to-tail条件独立。

        插一句:这个head-to-tail其实就是一个链式网络,如下图所示:

        根据之前对head-to-tail的讲解,我们已经知道,在xi给定的条件下,xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢?意味着:xi+1的分布状态只和xi有关,和其他变量条件独立。通俗点说,当前状态只跟上一状态有关,跟上上或上上之前的状态无关。这种顺次演变的随机过程,就叫做马尔科夫链(Markov chain)。且有:

        接着,将上述结点推广到结点集,则是:对于任意的结点集A,B,C,考察所有通过A中任意结点到B中任意结点的路径,若要求A,B条件独立,则需要所有的路径都被阻断(blocked),即满足下列两个前提之一:

    1. A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C;
    2. A和B的“head-to-head型”路径不通过C以及C的子孙;

        最后,举例说明上述D-Separation的3种情况(即贝叶斯网络的3种结构形式),则是如下图所示:

     

        上图中左边部分是head-to-tail,给定 T 时,A 和 X 独立;右边部分的右上角是tail-to-tail,给定S时,L和B独立;右边部分的右下角是head-to-head,未给定D时,L和B独立。

    2.3 贝叶斯网络的实例

        给定如下图所示的贝叶斯网络:

    其中,各个单词、表达式表示的含义如下:

    • smoking表示吸烟,其概率用P(S)表示,lung Cancer表示的肺癌,一个人在吸烟的情况下得肺癌的概率用P(C|S)表示,X-ray表示需要照医学上的X光,肺癌可能会导致需要照X光,吸烟也有可能会导致需要照X光(所以smoking也是X-ray的一个因),所以,因吸烟且得肺癌而需要照X光的概率用P(X|C,S)表示。
    • Bronchitis表示支气管炎,一个人在吸烟的情况下得支气管炎的概率用P(B|S),dyspnoea表示呼吸困难,支气管炎可能会导致呼吸困难,肺癌也有可能会导致呼吸困难(所以lung Cancer也是dyspnoea的一个因),因吸烟且得了支气管炎导致呼吸困难的概率用P(D|C,B)表示。

        lung Cancer简记为C,Bronchitis简记为B,dyspnoea简记为D,且C = 0表示lung Cancer不发生的概率,C = 1表示lung Cancer发生的概率,B等于0(B不发生)或1(B发生)也类似于C,同样的,D=1表示D发生的概率,D=0表示D不发生的概率,便可得到dyspnoea的一张概率表,如上图的最右下角所示。

    2.4 因子图

        回到2.3节中那个实例上,如下图所示:

        对于上图,在一个人已经呼吸困难(dyspnoea)的情况下,其抽烟(smoking)的概率是多少呢?即:

         咱们来一步步计算推导下:

        解释下上述式子推导过程:

    1. 第二行:对联合概率关于b,x,c求和(在d=1的条件下),从而消去b,x,c,得到s和d=1的联合概率。
    2. 第三行:最开始,所有变量都在sigma(d=1,b,x,c)的后面(sigma表示对“求和”的称谓),但由于P(s)和“d=1,b,x,c”都没关系,所以,可以提到式子的最前面。而且P(b|s)和x、c没关系,所以,也可以把它提出来,放到sigma(b)的后面,从而式子的右边剩下sigma(x)和sigma(c)。

        此外,图中Variable elimination表示的是变量消除的意思。为了更好的解决此类问题,咱们得引入因子图的概念。

    2.4.1 因子图的定义

        wikipedia上是这样定义因子图的:将一个具有多变量的全局函数因子分解,得到几个局部函数的乘积,以此为基础得到的一个双向图叫做因子图(Factor Graph)。

        比如,假定对于函数,有下述式子成立:

        其中,其对应的因子图包括:

    1. 变量节点
    2.  因子(函数)节点
    3. ,边通过下列因式分解结果得到:在因子(函数)节点和变量节点之间存在边的充要条件是存在。

        正式的定义果然晦涩!我相信你没看懂。通俗来讲,所谓因子图就是对函数进行因子分解得到的一种概率图。一般内含两种节点:变量节点和函数节点。我们知道,一个全局函数通过因式分解能够分解为多个局部函数的乘积,这些局部函数和对应的变量关系就体现在因子图上。

        举个例子,现在有一个全局函数,其因式分解方程为:

        其中fA,fB,fC,fD,fE为各函数,表示变量之间的关系,可以是条件概率也可以是其他关系(如马尔可夫随机场Markov Random Fields中的势函数)。

        为了方便表示,可以写成:

        其对应的因子图为:

        且上述因子图等价于:

        所以,在因子图中,所有的顶点不是变量节点就是函数节点,边线表示它们之间的函数关系。

        但搞了半天,虽然知道了什么是因子图,但因子图到底是干嘛的呢?为何要引入因子图,其用途和意义何在?事实上,因子图跟贝叶斯网络和马尔科夫随机场(Markov Random Fields)一样,也是概率图的一种。

        既然提到了马尔科夫随机场,那顺便说下有向图、无向图,以及条件随机场等相关概念。

    • 我们已经知道,有向图模型,又称作贝叶斯网络(Directed Graphical Models, DGM, Bayesian Network)。

    • 但在有些情况下,强制对某些结点之间的边增加方向是不合适的。使用没有方向的无向边,形成了无向图模型(Undirected Graphical Model,UGM), 又被称为马尔科夫随机场或者马尔科夫网络(Markov Random Field,  MRF or Markov network)。

    • 设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合随机变量,若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场(MRF),则条件概率分布P(Y|X)称为条件随机场(Conditional Random Field, 简称CRF,后续新的博客中可能会阐述CRF)。如下图所示,便是一个线性链条件随机场的无向图模型:

        回到本文的主旨上来。在概率图中,求某个变量的边缘分布是常见的问题。这问题有很多求解方法,其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图,然后用sum-product算法求解。换言之,基于因子图可以用sum-product 算法高效的求各个变量的边缘分布。

        先通过一些例子分别说明如何把贝叶斯网络(和马尔科夫随机场),以及把马尔科夫链、隐马尔科夫模型转换成因子图后的情形,然后在2.4.2节,咱们再来看如何利用因子图的sum-product算法求边缘概率分布。

        给定下图所示的贝叶斯网络或马尔科夫随机场:

        根据各个变量对应的关系,可得:

        其对应的因子图为(以下两种因子图的表示方式皆可):

        由上述例子总结出由贝叶斯网络构造因子图的方法:

    • 贝叶斯网络中的一个因子对应因子图中的一个结点
    • 贝叶斯网络中的每一个变量在因子图上对应边或者半边
    • 结点g和边x相连当且仅当变量x出现在因子g中。

        再比如,对于下图所示的由马尔科夫链转换而成的因子图:

        有:

        而对于如下图所示的由隐马尔科夫模型转换而成的因子图:

        有

    2.4.2 Sum-product算法

        我们已经知道,对于下图所示的因子图:

        有:

        下面,咱们来考虑一个问题:即如何由联合概率分布求边缘概率分布。

        首先回顾下联合概率和边缘概率的定义,如下:

    • 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者
    • 边缘概率(又称先验概率)是某个事件发生的概率。边缘概率是这样得到的:在联合概率中,把最终结果中不需要的那些事件合并成其事件的全概率而消失(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率)。这称为边缘化(marginalization)。A的边缘概率表示为P(A),B的边缘概率表示为P(B)。 

        事实上,某个随机变量fk的边缘概率可由x1,x2,x3, ..., xn的联合概率求到,具体公式为:

        啊哈,啥原理呢?原理很简单,还是它:对xk外的其它变量的概率求和,最终剩下xk的概率!

        此外,换言之,如果有

        那么

        上述式子如何进一步化简计算呢?考虑到我们小学所学到的乘法分配率,可知a*b + a*c = a*(b + c),前者2次乘法1次加法,后者1次乘法,1次加法。我们这里的计算是否能借鉴到分配率呢?别急,且听下文慢慢道来。

        假定现在我们需要计算如下式子的结果:

    同时,f 能被分解如下:

        借鉴分配率,我们可以提取公因子:

         因为变量的边缘概率等于所有与他相连的函数传递过来的消息的积,所以计算得到:

        仔细观察上述计算过程,可以发现,其中用到了类似“消息传递”的观点,且总共两个步骤。

        第一步、对于f 的分解图,根据蓝色虚线框、红色虚线框围住的两个box外面的消息传递:

        计算可得:

        第二步、根据蓝色虚线框、红色虚线框围住的两个box内部的消息传递:

        根据,我们有:

        就这样,上述计算过程将一个概率分布写成两个因子的乘积,而这两个因子可以继续分解或者通过已知得到。这种利用消息传递的观念计算概率的方法便是sum-product算法。前面说过,基于因子图可以用sum-product算法可以高效的求各个变量的边缘分布。

        到底什么是sum-product算法呢?sum-product算法,也叫belief propagation,有两种消息:

    • 一种是变量(Variable)到函数(Function)的消息:,如下图所示

        此时,变量到函数的消息为

    • 另外一种是函数(Function)到变量(Variable)的消息:。如下图所示:

        此时,函数到变量的消息为:

        以下是sum-product算法的总体框架:

    • 1、给定如下图所示的因子图:

    • 2、sum-product 算法的消息计算规则为:

    • 3、根据sum-product定理,如果因子图中的函数f 没有周期,则有:

        值得一提的是:如果因子图是无环的,则一定可以准确的求出任意一个变量的边缘分布,如果是有环的,则无法用sum-product算法准确求出来边缘分布。

        比如,下图所示的贝叶斯网络:

        其转换成因子图后,为:

        可以发现,若贝叶斯网络中存在“环”(无向),则因此构造的因子图会得到环。而使用消息传递的思想,这个消息将无限传输下去,不利于概率计算。
        解决方法有3个:

    • 1、删除贝叶斯网络中的若干条边,使得它不含有无向环

        比如给定下图中左边部分所示的原贝叶斯网络,可以通过去掉C和E之间的边,使得它重新变成有向无环图,从而成为图中右边部分的近似树结构:

        具体变换的过程为最大权生成树算法MSWT(详细建立过程请参阅此PPT 第60页),通过此算法,这课树的近似联合概率P'(x)和原贝叶斯网络的联合概率P(x)的相对熵(如果忘了什么叫相对熵,请参阅:最大熵模型中的数学推导)最小。

    • 2、重新构造没有环的贝叶斯网络
    • 3、选择loopy belief propagation算法(你可以简单理解为sum-product 算法的递归版本),此算法一般选择环中的某个消息,随机赋个初值,然后用sum-product算法,迭代下去,因为有环,一定会到达刚才赋初值的那个消息,然后更新那个消息,继续迭代,直到没有消息再改变为止。唯一的缺点是不确保收敛,当然,此算法在绝大多数情况下是收敛的。

        此外,除了这个sum-product算法,还有一个max-product 算法。但只要弄懂了sum-product,也就弄懂了max-product 算法。因为max-product 算法就在上面sum-product 算法的基础上把求和符号换成求最大值max的符号即可!

        最后,sum-product 和 max-product 算法也能应用到隐马尔科夫模型hidden Markov models上,后面有机会的话可以介绍。本文完。

     

    3 参考文献和推荐阅读

    1. Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances"(贝叶斯定理原始论文):http://www.sbs-bvs.be/bsn57/bsn57-6.pdf
    2. 《数理统计学简史 第三章 贝叶斯方法》;
    3. 《贝叶斯统计 茆诗松著》;
    4. “Julw”的搜索结果:http://www.gu1234.com/search?hl=zh-CN&site=webhp&source=hp&q=Julw&btnK=Google+%E6%90%9C%E7%B4%A2&gws_rd=ssl
    5. 北京10月机器学习班第9次课,邹博讲贝叶斯网络的PPThttp://pan.baidu.com/s/1o69Lp1K
    6. 相关wikipedia,比如贝叶斯定理的wiki:http://zh.wikipedia.org/zh/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86,贝叶斯网络的wiki:http://zh.wikipedia.org/wiki/%E8%B2%9D%E6%B0%8F%E7%B6%B2%E8%B7%AF。因子图中文wiki:http://zh.wikipedia.org/zh/%E5%9B%A0%E5%AD%90%E5%9B%BE,英文wik:http://en.wikipedia.org/wiki/Factor_graph
    7. 《统计决策论及贝叶斯分析 James O.Berger著》;
    8. 贝叶斯定理:http://www.guokr.com/question/547339/
    9. 贝叶斯推断及其互联网应用(一):定理简介http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html
    10. 贝叶斯推断及其互联网应用(三):拼写检查http://www.ruanyifeng.com/blog/2012/10/spelling_corrector.html
    11. Google研发总监Peter Norvig解释拼写检查的原理:http://norvig.com/spell-correct.html
    12. http://www.eng.yale.edu/pjk/eesrproj_02/luckenbill_html/node4.html(sum-product);
    13. Pattern Recognition and Machine Learning Chapter 8, M. Jordan, J. Kleinberg, ect, 2006;
    14. D-Separation(D分离)-PRML-8.22-Graphical Model by 小军:http://www.zhujun.me/d-separation-separation-d.html
    15. 因子图介绍 by Hans-Andrea Loeliger:http://www.robots.ox.ac.uk/~parg/mlrg/papers/factorgraphs.pdf
    16. http://netclass.csu.edu.cn/jpkc2003/rengongzhineng/rengongzhineng/kejian/ai/ai/chapter4/442.htm
    17. 贝叶斯网的R实现( Bayesian networks in R)(二)bnlearn(2):http://site.douban.com/182577/widget/notes/12817482/note/283039795/
    18. 知乎上关于贝叶斯学派跟频率派的区别的讨论:http://www.zhihu.com/question/20587681
    19. factor graph,因子图,势函数potential function,Template models:http://www.cnblogs.com/549294286/archive/2013/06/06/3121454.html
    20. Online Bayesian Probit Regression介绍之Factor Graph:http://www.doingkong.com/?p=68
    21. An Introduction to Factor Graphs,Hans-Andrea Loeliger,MLSB 2008:http://people.binf.ku.dk/~thamelry/MLSB08/hal.pdf
    22. Factor graph and sum-product algorithm, Frank R. Kschischang, Brendan J.Frey, ect, 1998:http://filebox.vt.edu/~rmtaylor/Graphical_Modeling/Intro_and_tutorial/Kschischang_ffg_sumproduct.pdf
    23. A Tutorial on Inference and Learning in Bayesian Networks, Irina Rish:http://www.ee.columbia.edu/~vittorio/Lecture12.pdf
    24. Probabilistic Graphical Models Directed GMs: Bayesian Networks:http://www.cs.cmu.edu/~epxing/Class/10708/lectures/lecture2-BNrepresentation.pdf
    25. A Brief Introduction to Graphical Models and Bayesian Networks By Kevin Murphy, 1998:http://www.cs.ubc.ca/~murphyk/Bayes/bayes.html
    26. Probabilistic Models for Unsupervised Learning(从一个统一的视角去理解: bayesian、MAP、ML,以及FA、EM、PCA、ICA、GMM、HMM等算法):http://mlg.eng.cam.ac.uk/zoubin/nipstut.pdf
    27. PRML概率图模型读书笔记:http://vdisk.weibo.com/s/DmxNcM5-7sGS
    28. 12月14日,机器学习班第15次课,邹博讲条件随机场CRF的PPT:http://pan.baidu.com/s/1qWBdOD2
    展开全文
  • 贝叶斯网络

    2016-03-14 22:53:28
    讲述了贝叶斯原理贝叶斯的应用
  • 什么是贝叶斯网络原理入门

    千次阅读 2020-03-19 12:40:45
    而想要用贝叶斯网络对其建模,我们需要考虑三个问题:1. 如何定义节点;2.如何定义节点之间的概率依赖关系;3. 如何表示联合概率分布。   假设我们现在有NNN个变量,每个变量有KKK个取值,则可建模为如下形式: p...

      现实生活中的很多问题都是概率问题,由多个变量(因素,要素)相互影响。而想要用贝叶斯网络对其建模,我们需要考虑三个问题:1. 如何定义节点;2.如何定义节点之间的概率依赖关系;3. 如何表示联合概率分布。

      假设我们现在有 N N N个变量,每个变量有 K K K个取值,则可建模为如下形式:

    p ( X ) = p ( X 1 , X 2 , … , X N ) , X i ∈ { 1 , 2 , … K } p(\mathbf{X})=p\left(X_{1}, X_{2}, \ldots, X_{N}\right), X_{i} \in\{1,2, \ldots K\} p(X)=p(X1,X2,,XN),Xi{1,2,K}

      若使用枚举法,参数个数为: K N K^{N} KN

      假设变量之间相互独立,则联合概率分布大大简化为如下形式:

    p ( X ) = p ( X 1 ) p ( X 2 ) ⋯ p ( X N ) p(\mathbf{X}) = p(X_{1})p(X_{2})\cdots p(X_{N}) p(X)=p(X1)p(X2)p(XN)

      但是变量之间相互独立的这个假设太强了,那我们如何来利用图的结构优势降低模型的复杂度

    贝叶斯网络

      贝叶斯网络是一个有向无圈图(Directed Acyclic Graph, DAG)(有向边并不会形成一个圈),由代表变量节点及连接 这些节点有向边构成。节点代表随机变量,节点间的有向边代表了节点间的互相关系(由父节点指向其子节点),用条件概率表达变量间依赖关系,没有父节点的用先验概率进行信息表达。

      令 G G G为定义在 { X 1 , X 2 , ⋯   , X N } \{X_{1},X_{2},\cdots,X_{N}\} {X1,X2,,XN}上的一个贝叶斯网络,则其联合概率分布可以表示为各个节点的条件概率分布的乘积:

    p ( X ) = ∏ i p i ( X i ∣ Par ⁡ G ( X i ) ) p(X)=\prod_{i} p_{i}\left(X_{i} | \operatorname{Par}_{G}\left(X_{i}\right)\right) p(X)=ipi(XiParG(Xi))

      其中 P a r G ( X i ) Par_{G}(\mathbf{X}_{i}) ParG(Xi)为节点 X i \mathbf{X}_{i} Xi的父节点, p i ( X i ∣ P a r G ( X i ) ) p_{i}(\mathbf{X}_{i}|Par_{G}(X_{i})) pi(XiParG(Xi))为节点条件概率表。

      我们以一个例子来对其进行实例化建模:

      实际生活中的一个例子:对一个学生能否拿到老师的推荐信这一问题进行建模研究。假设与该问题相关的变量有以下五个:试题难度、学生智力、考试成绩、高考成绩、是否 得到老师推荐信。那么其节点可定义为如下形式:

    定义节点

      可以看到Grade有两个父节点,SAT有一个父节点(有父子节点的表示为条件概率分布的形式)。所以其联合概率分布可表示为如下形式:

    p ( D , I , G , S , L ) = P ( D ) P ( I ) P ( G ∣ I , D ) P ( S ∣ I ) P ( L ∣ G ) \begin{array}{l} p(D, I, G, S, L) \\ =P(D) P(I) P(G | I, D) P(S | I) P(L | G) \end{array} p(D,I,G,S,L)=P(D)P(I)P(GI,D)P(SI)P(LG)

      那写成这这种联合概率分布的情况有什么好处呢?我们可以看一下其参数形式:

    • 枚举法2 * 2 * 3 * 2 * 2 - 1 = 47 个参数(减去1的原因是联合概率分布求和需要等于1)。
    • 结构化分解1 + 1 + 8 + 3 + 2 = 15个参数 (每一行的参数求和需要等于1)。

      更一般地,假设 n n n个二元随机变量的联合概率分布,表示该分布需要 2 n − 1 2^{n}-1 2n1 个参数。如果用贝叶斯网络建模,假设每个节点最多有 k k k 个父节点,所需要 的参数最多为 n ∗ 2 k n*2^{k} n2k,一般每个变量局部依赖于少数变量。

      算一个实际的例子:

    实际算数举例

      那为什么联合概率为什么可以表示为局部条件 概率表的乘积?

    • 随机变量 X X X, Y Y Y 相互独立, 则会满足以下三个等式:

    P ( X , Y ) = P ( X ) P ( Y ) P(X,Y)=P(X)P(Y) P(X,Y)=P(X)P(Y)

    P ( X ∣ Y ) = P ( X ) P(X|Y)=P(X) P(XY)=P(X)

    P ( Y ∣ X ) = P ( Y ) P(Y|X)=P(Y) P(YX)=P(Y)

      或者说上面三个等式中的任意一个等式成立,则随机变量 X X X, Y Y Y是相互独立的。下图是其举例:

    随机变量相互独立

    • 随机变量 X X X, Y Y Y 在给定 Z Z Z 条件下条件独立, 如果满足:

    P ( X , Y ∣ Z ) = P ( X ∣ Z ) P ( Y ∣ Z ) P(X,Y|Z)=P(X|Z)P(Y|Z) P(X,YZ)=P(XZ)P(YZ)

    P ( X ∣ Y , Z ) = P ( X ∣ Z ) P(X|Y,Z)=P(X|Z) P(XY,Z)=P(XZ)

    P ( Y ∣ X , Z ) = P ( Y ∣ Z ) P(Y|X,Z)=P(Y|Z) P(YX,Z)=P(YZ)

      我们可以将下图中具体的数值代进去,其将会成立:

    随机变量在给定条件下的独立性

    概率影响的流动性

      为了更好地去介绍贝叶斯网里面的条件独立性,我们引入新的概念,概率影响的流动性。概率影响的流动性说地是:在一定的观测条件下,变量间的取值概率是否会相互影响。所谓的观测条件是这个系统是否有观测变量,或者观测变量的取值是否确定。当变量取值未知,通常根据观测变量取值,对隐变量的取值概率进行推理

      比如:判断 W W W 是否为观测变量, X X X Y Y Y的概率影响的流动性。

    概率流动性举例

      这里要注意第3和第4中情况,第3种情况:当 W W W未知的时候你才可以对 X X X Y Y Y进行推断。第4种情况:当 W W W已知的时候, X X X Y Y Y才可以进行概率之间的推断。

    概率影响的流动性

    概率影响的流动性

      在贝叶斯网络里面有一个概率独立性定理:父节点已知时,该节点与其所有非后代的节点(non-descendants)条件独立。

    举例

      如上图所示,当SAT的父节点Intelligence已知时,DifficultyGradeLetter都与SAT条件独立。

    贝叶斯网链式法则

      依据上述定理我们可以得到贝叶斯网络因子分解的形式:

    贝叶斯网链式法则

    贝叶斯网络推理的直观理解

      因果推断Causal Reasoning):顺着箭头方向推断。得到贝叶斯网络之后我们就可以进行推理计算。这种因果推理是顺着箭头方向进行的推理。

    贝叶斯网络推理

      贝叶斯网络的第二种推断叫做证据推断Evidential Reasoning):是逆着箭头推断的。

    证据推断

      交叉因果推断Intercausal Reasoning):双向箭头推断。

    交叉因果推断

    我的微信公众号名称:深度学习与先进智能决策
    微信公众号ID:MultiAgent1024
    公众号介绍:主要研究分享深度学习、机器博弈、强化学习等相关内容!期待您的关注,欢迎一起学习交流进步!

    展开全文
  • 朴素贝叶斯算法,贝叶斯分类算法,贝叶斯定理原理 贝叶斯分类算法是统计学的一种分类方法,它是一类利用概率统计知识进行分类的算法。在许多场合,朴素贝叶斯(Naïve Bayes,NB)分类算法可以与决策树和神经网络分类...

     朴素贝叶斯算法,贝叶斯分类算法,贝叶斯定理原理

    贝叶斯分类算法是统计学的一种分类方法,它是一类利用概率统计知识进行分类的算法。在许多场合,朴素贝叶斯(Naïve Bayes,NB)分类算法可以与决策树和神经网络分类算法相媲美,该算法能运用到大型数据库中,而且方法简单、分类准确率高、速度快。
    由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值,而此假设在实际情况中经常是不成立的,因此其分类准确率可能会下降。为此,就衍生出许多降低独立性假设的贝叶斯分类算法,如TAN(tree augmented Bayes network)算法。

    朴素贝叶斯算法的核心思想:选择具有最高后验概率作为确定类别的指标。

    --------------------

    朴素贝叶斯算法
    设每个数据样本用一个n维特征向量来描述n个属性的值,即:X={x1,x2,…,xn},假定有m个类,分别用C1, C2,…,Cm表示。给定一个未知的数据样本X(即没有类标号),若朴素贝叶斯分类法将未知的样本X分配给类Ci,则一定是
    P(Ci|X)>P(Cj|X) 1≤j≤m,j≠i
    根据贝叶斯定理
    由于P(X)对于所有类为常数,最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组,计算P(X|Ci)的开销可能非常大,为此,通常假设各属性的取值互相独立,这样
    先验概率P(x1|Ci),P(x2|Ci),…,P(xn|Ci)可以从训练数据集求得。
    根据此方法,对一个未知类别的样本X,可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci),然后选择其中概率最大的类别作为其类别。
    朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高,否则可能较低。另外,该算法没有分类规则输出。

     

        在所有的机器学习分类算法中,朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法,比如决策树,KNN,逻辑回归,支持向量机等,他们都是判别方法,也就是直接学习出特征输出Y和特征X之间的关系,要么是决策函数Y=f(X)Y=f(X),要么是条件分布P(Y|X)P(Y|X)。但是朴素贝叶斯却是生成方法,也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。

    朴素贝叶斯很直观,计算量也不大,在很多领域有广泛的应用。

    1. 朴素贝叶斯相关的统计学知识

        在了解朴素贝叶斯的算法之前,我们需要对相关必须的统计学知识做一个回顾。

        贝叶斯学派很古老,但是从诞生到一百年前一直不是主流。主流是频率学派。频率学派的权威皮尔逊和费歇尔都对贝叶斯学派不屑一顾,但是贝叶斯学派硬是凭借在现代特定领域的出色应用表现为自己赢得了半壁江山。

        贝叶斯学派的思想可以概括为先验概率+数据=后验概率。也就是说我们在实际问题中需要得到的后验概率,可以通过先验概率和数据一起综合得到。数据大家好理解,被频率学派攻击的是先验概率,一般来说先验概率就是我们对于数据所在领域的历史经验,但是这个经验常常难以量化或者模型化,于是贝叶斯学派大胆的假设先验分布的模型,比如正态分布,beta分布等。这个假设一般没有特定的依据,因此一直被频率学派认为很荒谬。虽然难以从严密的数学逻辑里推出贝叶斯学派的逻辑,但是在很多实际应用中,贝叶斯理论很好用,比如垃圾邮件分类,文本分类。

       

     2. 朴素贝叶斯的模型

        

     

    3. 朴素贝叶斯的推断过程

        朴素贝叶斯的完整推断过程:

    4. 朴素贝叶斯的参数估计

        

     

    5.  朴素贝叶斯算法过程

        我们假设训练集为m个样本n个维度,如下:

        共有K个特征输出类别,分别为C1,C2,...,CKC1,C2,...,CK,每个特征输出类别的样本个数为m1,m2,...,mKm1,m2,...,mK,在第k个类别中,如果是离散特征,则特征XjXj各个类别取值为mjlmjl。其中l取值为1,2,...Sj1,2,...Sj,SjSj为特征j不同的取值数。

        输出为实例X(test)X(test)的分类。

        算法流程如下:

        1) 如果没有Y的先验概率,则计算Y的K个先验概率:P(Y=Ck)=mk/mP(Y=Ck)=mk/m,否则P(Y=Ck)P(Y=Ck)为输入的先验概率。

        2) 分别计算第k个类别的第j维特征的第l个个取值条件概率:P(Xj=xjl|Y=Ck)P(Xj=xjl|Y=Ck)

          a)如果是离散值:

          λλ可以取值为1,或者其他大于0的数字。

          b)如果是稀疏二项离散值:

           此时ll只有两种取值。

          c)如果是连续值不需要计算各个l的取值概率,直接求正态分布的参数:

          需要求出μkσ2kμk和σk2。 μkμk为在样本类别CkCk中,所有XjXj的平均值。σ2kσk2为在样本类别CkCk中,所有XjXj的方差。

       

         从上面的计算可以看出,没有复杂的求导和矩阵运算,因此效率很高。

    6.  朴素贝叶斯算法小结

        朴素贝叶斯的主要优点有:

        1)朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。

        2)对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。

        3)对缺失数据不太敏感,算法也比较简单,常用于文本分类。

        朴素贝叶斯的主要缺点有:   

        1) 理论上,朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

        2)需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

        3)由于我们是通过先验和数据来决定后验的概率从而决定分类,所以分类决策存在一定的错误率。

        4)对输入数据的表达形式很敏感。

    ===================

    本人微信公众帐号: 心禅道(xinchandao)

    本人微信公众帐号:双色球预测合买(ssqyuce)

    展开全文
  • 为督促自己更好的理解论文,而不是仅看看不思考,今后【论文】系列将会至少每周总结一篇这周看过的论文,总结需分为两部分,一部分忠于原文详细总结原理方法,另一部分阐述自己的理解,以便达到整理研究思路,提高...

    为督促自己更好的理解论文,而不是仅看看不思考,今后【论文】系列将会至少每周总结一篇这周看过的论文,总结需分为两部分,一部分忠于原文详细总结原理方法,另一部分阐述自己的理解,以便达到整理研究思路,提高论文写作水平的目的
    本周总结思考的论文为:Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks.1

    前言

    虽然文献的研究对象为实例级别(object-based),但由于文献发表时间早于Alexnet的出现,所以动作实例特征的提取不涉及高级语义,仅为纹理颜色形状等低级特征,故**视频物体(VOs,video objects)**的提取前置步骤不列为总结重点,重点放在如何使用数学方法建模时序上。
    本文要解决的两个关键问题为:

    • 1. what features we shall count on

    • 2. what mapping we shall use

    针对这两个关键问题,本文涉及的关键步骤有:

    1. video objects segmentation
      目的:根据镜头检测的结果分割VOs
      算法:change detection or object tracking(两种都用了)
    2. video objects abstraction
      目的:鉴别关键帧以减少数据冗余,提取VOs特征
      算法:cluster analysis or sequential selection
    3. semantic feature modeling
      目的:建模语义对象的时空特性
      算法:动态贝叶斯网络(DBN, Dynamic Bayesian Network)

    整体架构流程图如下:
    在这里插入图片描述

    VOs提取结果

    在这里插入图片描述

    Video modeing and inter pretation

    为了获取视频片段的语义,需要用DBN将低级特征映射为高级语义。

    贝叶斯公式

    在这里插入图片描述
    其中:

    • p ( w ) p(w) p(w):为先验概率,表示每种类别分布的概率;
    • p ( x ∣ w ) p(x|w) p(xw):类条件概率,表示在某种类别前提下,某事发生的概率;
    • p ( w ∣ x ) p(w|x) p(wx)为后验概率,表示某事发生了,并且它属于某一类别的概率,有了这个后验概率,我们就可以对样本进行分类。后验概率越大,说明某事物属于这个类别的可能性越大,我们越有理由把它归到这个类别下2

    我们来看一个直观的例子:已知:在夏季,某公园男性穿凉鞋的概率为1/2,女性穿凉鞋的概率为2/3,并且该公园中男女比例通常为2:1,问题:若你在公园中随机遇到一个穿凉鞋的人,请问他的性别为男性或女性的概率分别为多少?
    从问题看,就是上面讲的,某事发生了,它属于某一类别的概率是多少?即后验概率。
    设: w 1 = 男 性 w_1 = 男性 w1= w 2 = 女 性 w_2 = 女性 w2= x = 穿 凉 鞋 x = 穿凉鞋 x=穿
    由已知可得:
    在这里插入图片描述
    男性和女性穿凉鞋相互独立,故

    在这里插入图片描述
    由贝叶斯公式可得:

    贝叶斯网络

    概率论中有一个基本概念:一个物理域可由其中所有随机变量的联合概率密度函数(PDF)来完全表示。由于贝叶斯网络(BN, Bayesian Network)中的随机变量为因果关系,因此可将PDF简化为条件概率分布(CPD, conditional probability distribution for continuous variable)条件概率表(CPT, conditional probablity table for discrete variable)
    一个简单的BN网络公式化例子如下:
    在这里插入图片描述
    在这里插入图片描述
    BN的特点:

    • BN为有向无环图,节点表示i.i.d.的随机变量,边表示两个节点之间相关;
    • CPD/CPT定义了节点随其父节点的状态更新;
    • BN的推理:利用部分已知状态节点来推理出其余部分节点的状态;
    • BN的学习:已知部分或全部观察节点的状态可学习节点的CPD或CPT。
      常用算法有:连接树(junction tree)3、置信传播(belief propagation)4和优化算法(如,variational and Monte Carlo sampling methods)5

    动态贝叶斯网络

    DBN由具有相同结构的BN沿时间轴展开而得到,可通过隐藏节点(hidden nodes)来建模系统状态变化来表示时序关系。

    • 隐马尔可夫模型(HMM, Hidden Markov Model)为离散状态节点的DBN;
    • 卡尔曼滤波(Kalman filter)为连续状态节点的DBN;

    在这里插入图片描述

    本文建模动作状态变化的DBN为离散状态节点。

    DBN的计算

    1. Problem:likelihood computation ⇒ \Rightarrow solution:inference algorithms(junction trees and variational methods)
    2. Problem:decoding or Most Probable Explanation(MPE) ⇒ \Rightarrow solution:inference algorithms(junction trees and variational methods) which calculate marginal distributions for the nodes
    3. Problem:parameter learning ⇒ \Rightarrow solution:已知隐藏节点值——Maximum Likelihood(ML) or 隐藏节点值未知或存在高斯混合PDF——Expectation-maximization algorithm(EM)

    本文的DBN方法

    用来进行动作分类,数据集总共包含5中动作:downhill sking, golf swing, baseball pitching, bowling, and ski jump,且每种动作分开训练了5个DBN。

    1. VO提取

    在这里插入图片描述
    2. 低层特征提取——提取二值化后物体的形状及骨骼
    在这里插入图片描述
    3. 定义物体重心为原点,水平方向为x轴,垂直方向为y轴,并确定其end points以将VO划分为Ⅰ·Ⅱ·Ⅲ·Ⅳ四个象限。
    在这里插入图片描述
    4. 针对人体5个部位,头,左手,右手,左脚,右脚运动建立DBN。

    在这里插入图片描述

    训练

    输入:

    • 隐藏节点的值,即头和四肢位于哪一象限,人工标注;

    • 观察节点的值,即每一象限的VO的feature vector。

    输出:

    • 最大似然函数的估计量 θ \theta θ
    • CPT

    推理

    输入:

    • feature vector

    输出:

    • log likelihood → \rightarrow classification
    • MPE

    总结

    本文最大的优点是利用数学的方法(DBN)建模了动作随时间的状态变化,并巧妙的将不同象限分类与数据集中的不同动作相结合完成了动作分类任务。但仍有以下缺点:

    1. 本文由于在神经网络出现之前,故没有现如今精确的目标检测方法;
    2. 若DBN网络中每个隐藏节点之间存在关系,即隐藏节点之间有关联的话,怎样建模(怎样将概率图模型与DBN相结合);
    3. 文献中每一个动作需单独训练一个DBN,若针对现有动作种类很多的数据集如UCF101来说所耗计算资源太大,如何解决模型的泛化能力;
    4. 不同domain的时序建模,DBN的架构可能会不同,如何实现DBN的自动架构学习;
    5. 本文数据集中的视频较短,如何利用DBN在不大量增加计算量的同时建模长视频。

    参考文献

    [1] Luo Y, Wu T D, Hwang J N. Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J]. Computer Vision and Image Understanding, 2003, 92(2-3): 196-216.
    [2] 极大似然估计详解.https://blog.csdn.net/zengxiantao1994/article/details/72787849.
    [3] Junction tree algorithm.https://ermongroup.github.io/cs228-notes/inference/jt/.
    [4] Belief propagation.https://ermongroup.github.io/cs228-notes/inference/jt/.
    [5] Toulouse J, Assaraf R, Umrigar C J. Introduction to the variational and diffusion Monte Carlo methods[M]//Advances in Quantum Chemistry. Academic Press, 2016, 73: 285-314.


    1. 1 ↩︎

    2. 2 ↩︎

    3. 3 ↩︎

    4. 3 ↩︎

    5. ↩︎

    展开全文
  • 利用变量间条件独立性 研究生特色精品课程 - 机器学习 6 贝叶斯网络构造 研究生特色精品课程 - 机器学习 6.1 贝叶斯网络的几个主要问题 ? 贝叶斯网络概率推理 (Probabilistic Inference) ? 结构学习 (structure lea
  • 贝叶斯网络及应用

    2014-08-26 18:01:27
    贝叶斯网络介绍,原理及应用,可以作为入门读物
  • 数据挖掘 贝叶斯网络

    千次阅读 2016-12-08 10:34:14
    贝叶斯网络是基于概率推理的数学模型,所谓概率推理就是通过一些变量的信息来获取其他的概率信息的过程,基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的,它对于解决复杂设备不...
  • 前面学习了朴素贝叶斯的原理,并且利用朴素贝叶斯原理对西瓜数据集3.0进行了分类:[朴素贝叶斯(Naive Bayes)原理+编程实现拉普拉斯修正的朴素贝叶斯分类器],今天我们更进一步,来探讨一下贝叶斯网络原理以及...
  • 朴素贝叶斯算法原理和实现

    千次阅读 2019-06-13 16:38:19
    朴素贝叶斯算法简单高效,在处理分类问题上,应该是首先要考虑的方法之一 1. 准备知识 贝叶斯分类是一类算法的总称,这类算法均以贝叶斯定理为基础,故称贝叶斯分类 这个定理解决了生活里经常遇到的问题:已知某条件...
  • ML-贝叶斯-原理及实现

    2019-02-20 22:11:00
    1.原理背景 拉普拉斯修正  半朴素贝叶斯 贝叶斯网 scikit-learn实现(GaussianNB,MultinomialNB和BernoulliNB) https://www.cnblogs.com/pinard/p/6074222.html 1.原理背景 贝叶斯公式: 假如我们的...
  • 1、朴素贝叶斯算法原理 ● 概率基础:概率定义为一件事情发生的可能性。 ● 联合概率:包含多个条件,且所有条件同时成立的概率 ● 条件概率:事件A在事件B已经发生的情况下发生的概率 (条件:所以特征之间时条件...
  • 贝叶斯方法和贝叶斯网络

    千次阅读 2018-05-30 08:25:25
    从贝叶斯方法谈到贝叶斯网络0 引言    看到July的这篇文章,觉得写得很好,所以转载过来,留着慢慢看。原地址:https://blog.csdn.net/v_july_v/article/details/40984699     ...
  • 为解决无人作战飞机复杂环境下的态势评估难题,阐述了蚁群优化和贝叶斯网络基本原理和数学模型,设计了一种基于模糊规则和动态蚁群-贝叶斯网络的无人作战飞机态势评估方法。该方法通过蚁群-贝叶斯网络把不完备数据转换...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,461
精华内容 7,384
关键字:

动态贝叶斯网络原理