精华内容
下载资源
问答
  • 2021-01-21 07:30:00

    今天我们对概率图模型(Probabilistic Graphical Model,PGM)做一个总结。

    模型表示

    概率图模型,是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型。

    它提出的背景是为了更好研究复杂联合概率分布的数据特征,假设一些变量的条件独立性,由此我们把概率图模型分为有向图无向图,并且介绍了它们的模型表示、条件独立性。

    有向图模型又称贝叶斯网络信念网络,其联合概率分布可以分解为每个随机变量Xk的局部条件概率的乘积形式:

    贝叶斯网络的条件独立性体现在三种形式:tail-to-tail,head-to-tailhead-to-head。

    无向图模型又称马尔科夫随机场马尔科夫网络,它的联合概率分布由Hammersley Clifford定理保证,能够因子分解为定义在最大团上的正函数的乘积

    马尔科夫随机场的条件独立性体现在局部马尔可夫性、全局马尔可夫性和成对马尔可夫性,他们是相互等价的:

    接着我们介绍了判断变量条件独立性的方法——D分离,最后我们得到更一般的算法来确定以下形式之一的独立性问题:

    • 给定Z,X和Y是否条件独立

    • X和Y边际独立吗

    文章链接:

    概率图模型(模型表示)

    概率图模型(D分离)

    模型推断

    概率图模型只是为了简便研究模型方便而提出的工具,通常我们把得到联合概率分布参数的过程称为Learning问题,得到参数后,最终要进行推断,称为Inference问题,一般情况下,推断问题分为精确推断近似推断。

    精确推断有变量消除法(VE)和信念传播法(BP)。变量消除法的思想,它的核心是每次对一个变量求积分。

    VE算法存在很明显的两个缺点:计算步骤无法存储;消除的最优次序是一个NP-hard问题。因此要对此算法进行改进,得到信念传播算法(BP),该算法的流程主要有三步:

    step1:任取⼀个节点 作为根节点

    step2:对这个根节点的邻居中的每⼀个节点,收集信息

    step3:对根节点的邻居,分发信息

    近似推断又分为确定性近似随机性近似。

    很多情况,无法用最大似然估计(MLE)直接求得参数,模型由一些不可观测的变量决定,它们无法直接观测,需要引入隐变量来定义它们。通常情况可以用期望最大化(EM算法)求解,它是一种迭代算法,主要思想是把一个难于处理的似然函数最大化问题用一个易于最大化的序列取代,而其极限是原始问题的解。

    E步本质是求隐变量z的后验分布p(z|x,θ),想方设法把隐变量z积分掉,M步求似然函数最大值的参数θ。

    变分推断(VI)是一种确定性近似方法,它的初始算法是基于平均场假设理论,不过该算法存在两个局限:假设太强,期望的积分可能无法计算。由此对算法改进,得到随机梯度变分推断(SGVI),利用重参数技巧和蒙特卡洛采样得到目标函数的梯度,进而采取梯度下降得到近似解。

    随机性近似推断的典型是马尔科夫链蒙特卡洛方法(MCMC),主要思想是通过构建马尔可夫链概率序列,使其收敛到平稳分布p(z)。

    蒙特卡洛采样是一种随机模拟方法,核心是求解x的概率分布p(x),以及如何基于概率分布去采集n个样本点。采样的目标是采集到的样本能够代表总体,要满足两点:

    • 样本趋向于高概率的区域

    • 样本之间必须独立

    常用的采样方法有概率分布采样(CDF Sampling)拒绝采样(Rejection Sampling)重要性采样(Importance Sampling)

    马尔可夫链是一种时间和状态都是离散的随机变量序列,它由状态空间和转移矩阵定义,通常情况我们研究齐次马尔可夫链(未来状态的条件概率分布仅依赖于现在状态)。

    平稳分布就是表示在某一个时刻后,分布不再改变。我们通过蚱蜢的例子来深入介绍了平稳分布,它表示了停留在某一状态的概率与从随机采样的前期状态转移到它的概率相同。

    但并不是所有马氏链都是平稳分布,所以我们想找到一种构建有平稳分布的马氏链。这就引入了平稳分布的充分条件——细致平衡。

    细致平衡条件将平稳分布的序列和⻢尔可夫链的转移矩阵联系在⼀起,把转移矩阵作为提议矩阵(提议函数),通过它可以不断⽣成样本点,就可以完成采样了,这个就是MCMC。主要用到MH算法,面对高维空间的话,用到MH的优化算法——Gibbs采样

    文章传送门:

    模型推断:VE与BP

    EM算法

    变分推断(Variational Inference)

    MCMC(蒙特卡洛采样)

    MCMC(马尔可夫链)

    MCMC(MH算法)

    具体模型

    最简单的图模型是朴素贝叶斯,它是一个强假设:即给定y的情况下,特征之间相互独立:

    引⼊单个隐变量后,发展出了高斯混合模型(GMM)

    如果单个隐变量变成序列的隐变量,就得到了动态空间模型(Dynamic Model)

    引⼊齐次马尔科夫假观测独立假设就有隐马尔科夫模型(HMM)卡尔曼滤波粒子滤波.

    HMM的隐状态假设是离散的,卡尔曼滤波的隐状态假设是连续的,但观测变量服从高斯分布,而粒子滤波是非线性非高斯情况下的动态模型。

    为了打破观测独立性,引⼊了⼀种最大熵马尔科夫模型MEMM它把最大熵原理与隐马尔科夫模型结合:

    为了克服 MEMM 中的局域问题,⼜引⼊了条件随机场(CRF),CRF 是⼀个⽆向图,其中,破坏了⻬次⻢尔可夫假设,如果隐变量是⼀个链式结构,那么⼜叫线性链 CRF。

    在⽆向图的基础上,引⼊隐变量得到了玻尔兹曼机,这个图模型的概率密度函数是⼀个指数族分布。对隐变量和观测变量作出⼀定的限制,就得到了受限玻尔兹曼机(RBM)

    我们看到,不同的概率图模型对下⾯⼏个特点作出假设:

    1. 向-边的性质

    2. 离散/连续/混合-点的性质

    3. 条件独立性-边的性质

    4. 隐变量-点的性质

    5. 指数族-结构特点

    此外,我们介绍五种聚类算法:基于质心的K-means算法,基于概率分布的GMM算法,基于密度的DBSCAN算法,基于无向图的谱聚类,以及基于层次聚类的BIRCH算法,其中K-means可以看成GMM的特殊情形。

    最后,我们很久前介绍过了贝叶斯线性回归高斯过程回归(GPR),它也可以看成概率图模型,我们是专门为了介绍一种调参方法而提前介绍这两个模型——贝叶斯优化(BOA),它可以在无法确定函数表达式的前提下,找到函数的最值点。

    文章传送门:

    高斯混合模型(GMM)

    隐马尔可夫模型(背景介绍)

    隐马尔可夫模型(前向算法与后向算法)

    隐马尔可夫模型(Baum Welch算法与Viterbi算法)

    隐马尔可夫模型(模型推断五大问题)

    隐马尔可夫模型(算法流程&实例演示)

    线性动态系统LDS(别名:卡尔曼滤波)

    粒子滤波(Particle Filter)

    条件随机场CRF(一)

    条件随机场CRF(二)

    条件随机场CRF(三)

    受限波尔茨曼机(RBM)

    高斯网络(GBN与GMN)

    聚类算法(K-means)

    聚类算法(谱聚类)

    聚类算法(BIRCH)

    聚类算法(DBSCAN)

    聚类算法(相似度与性能度量)

    贝叶斯线性回归

    高斯过程回归(GPR)

    贝叶斯优化

    对于上面的概率图模型,我们有部分给出了编程实现,有部分还没有,以后会陆续介绍。目前重点是把原理介绍清楚,对机器学习有个整体把握。熟悉这些工具,加上其原理的思想,在我们工作中灵活应用,希望对亲爱的读者你有用!

    我们不久后开始深度学习的内容,再难,我也想你一起学算法!!!

    更多相关内容
  • 概率图模型

    万次阅读 2018-06-25 20:39:51
    转载自:(http://www.cnblogs.com/sea-wind/)概率图模型过去的一段时间里,忙于考试、忙于完成实验室要求的任务、更忙于过年,很长...这将是对概率图模型的一个很基础的总结,主要参考了《PATTERN RECOGNITION and M...
    转载自:(http://www.cnblogs.com/sea-wind/)

    概率图模型

    过去的一段时间里,忙于考试、忙于完成实验室要求的任务、更忙于过年,很长时间没有以一种良好的心态来回忆、总结自己所学的东西了。这几天总在想,我应该怎么做。后来我才明白,应该想想我现在该做什么,所以我开始写这篇博客了。这将是对概率图模型的一个很基础的总结,主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》。看这部分内容主要是因为LDPC码中涉及到了相关的知识。概率图模型本身是值得深究的,但我了解得不多,本文就纯当是介绍了,如有错误或不当之处还请多多指教。

    0. 这是什么?

        很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的,人们创建了概率理论来描述事物的不确定性。在这一基础上,人们希望能够通过已经知道的知识来推测出未知的事情,无论是现在、过去、还是将来。在这一过程中,模型往往是必须的,什么样的模型才是相对正确的?这又是我们需要解决的问题。这些问题出现在很多领域,包括模式识别、差错控制编码等。

        概率图模型是解决这些问题的工具之一。从名字上可以看出,这是一种或是一类模型,同时运用了概率和图这两种数学工具来建立的模型。那么,很自然的有下一个问题

    1. 为什么要引入概率图模型?

        对于一般的统计推断问题,概率模型能够很好的解决,那么引入概率图模型又能带来什么好处呢?

        LDPC码的译码算法中的置信传播算法的提出早于因子图,这在一定程度上说明概率图模型不是一个从不能解决问题到解决问题的突破,而是采用概率图模型能够更好的解决问题。《模式识别和机器学习》这本书在图模型的开篇就阐明了在概率模型中运用图这一工具带来的一些好的性质,包括

        1. They provide a simple way to visualize the structure of a probabilistic model and can be used to design and motivate new models.

        2. Insights into the properties of the model, including conditional independence properties, can be obtained by inspection of the graph.

        3. Complex computations, required to perform inference and learning in sophisticated models, can be expressed in terms of graphical manipulations, in which underlying mathematical expressions are carried along implicitly.

        简而言之,就是图使得概率模型可视化了,这样就使得一些变量之间的关系能够很容易的从图中观测出来;同时有一些概率上的复杂的计算可以理解为图上的信息传递,这是我们就无需关注太多的复杂表达式了。最后一点是,图模型能够用来设计新的模型。所以多引入一数学工具是可以带来很多便利的,我想这就是数学的作用吧。

        当然,我们也可以从另一个角度考虑其合理性。我们的目的是从获取到的量中得到我们要的信息,模型是相互之间约束关系的表示,而数据的处理过程中运用到了概率理论。而图恰恰将这两者之间联系起来了,起到了一个很好的表示作用。

    2.加法准则和乘法准则

        涉及到概率的相关问题,无论有多复杂,大抵都是基于以下两个式子的——加法准则和乘法准则。

        第一个式子告诉我们当知道多个变量的概率分布时如何计算单个变量的概率分布,而第二个式子说明了两个变量之间概率的关系。譬如之间相互独立时应有

     

        还有一个是著名的贝叶斯公式,这和上面的乘法准则是一样的(当然分母也可以用加法公式写,这样就是那个全概率公式了)

    3.图和概率图模型

        下面这张图片描述的就是,它是由一些带有数字的圆圈和线段构成的,其中数字只是一种标识。我们将圆圈称为节点,将连接圆圈的节点称为边,那么图可以表示为

    File:6n-graf.svg

        如果边有方向,称图为有向图,否则为无向图;

        两个节点是连通的是指两节点之间有一条路;

        路是由节点和边交叉构成的;

        上述定义都不太严格,具体可参考图论相关知识。

    有向图模型(贝叶斯网络)

        举个例子,譬如有一组变量,如果每个变量只与其前一个变量有关(1阶马尔可夫过程),那么以下等式成立

        那么如何用图来表示这一关系呢?自然,我们要表示的是右边的式子,右边的式子表示了变量之间的联系。而当我们观察条件概率时,我们发现我们必须要指明哪个是条件。如果我们采用变量为节点,采用无向图这种节点等价的关系显然不能直接描述条件概率,因此这里选择了有向图来描述这一关系,即表示为

    image

        那么此时上述的1阶马尔可夫过程表示为,注意其中没有箭头指向,故表示意味着无条件。

    image

        有向图模型,或称贝叶斯网络,描述的是条件概率,或许这就是其被称为贝叶斯网络的原因吧。此处不再细说,更多内容(包括d-separation等)可参考后文提及的相关资料。

    无向图模型(马尔可夫随机场)

        构造有向图模型需要变量之间显式的、很强的约束关系。即首先要有条件概率分布关系,其次还要是可求的。为了达到这一目的,很有可能我们要做很多不切实际的假设。譬如朴素贝叶斯(Naive Bayes)的假设就相当的Naive。如下所示,其假设往往是不成立的。

    \begin{align}p(C_k \vert x_1, \dots, x_n) & \varpropto p(C_k, x_1, \dots, x_n) \\                             & \varpropto p(C_k) \ p(x_1 \vert C_k) \ p(x_2\vert C_k) \ p(x_3\vert C_k) \ \cdots \\                             & \varpropto p(C_k) \prod_{i=1}^n p(x_i \vert C_k)\,.\end{align}

        那什么是更弱的假设呢?很多时候我们知道两个变量之间一定是相关的,但我们不知道到底是怎么相关的。这时候我们也可以用其相关性来构造概率图模型。相关是不分方向的,此时我们应该选择无向图来表示。

        和相关对应的是独立(实际上是不相关,这里不做区分了),我们可以这样来构造图模型,如果两个节点之间独立,那么没有路使其相连。条件独立即去掉条件中节点后,两节点之间没有路相连。具体可由《PATTERN RECOGNITION and MACHINE LEARNING》中的例子阐述

    image

        如上图所示,A中节点到B集合中节点的每一条路都通过了C中节点,这代表着。无向图模型很完美的将这种弱的关系表现出来了,有一种很神奇的感觉,但光表示是没有多大用处的,我们还是要计算概率。对于变量,显然有

       但更显然的是我们不应该这样做,因为没有意义。所以他们是这样做的,为什么可以?我也没弄明白,我只是感觉了一下,觉得差不多……思想是一样的,就是把概率分开,分开了才能体现特点。

       将图中的节点分成多个小的集合XcXc,其中集合内的点两两之间有边相连接,这些集合被称为cliques,那么概率分布满足

        其中ZZ是归一化因子(使得概率之和为1),ΦΦ函数是势能函数,恒正。取为

        是能量函数,不得不说这是一个很神奇的东西。不太会就先总结到这里了。

    因子图

        按理来说,无向+有向就全了。为什么还有一类呢?或许严格来说不应该将因子图和上述两类并列的,但我不知道放到哪里去……

        因子,从名字中就强调了的两个字一定是其重要组成部分。而上述的两类图表现出的变量之间最终的关系实际上就是将概率分布化为了多个式子的乘积。对于多项式而言,我们有因式分解。譬如在解高次方程的时候,我们非常希望方程能够分解为多个低次方程的乘积。那么,对于概率分布函数而言,我们也希望能够这样做,即

        其中,中变量的子集,至于到底能够如何分解是取决于问题的,就好象多项式的分解取决于其具体形式。对于一个实际的问题,如果有以下关系

        那么这一个式子的因子图表示如下

    image

        从这个例子,我们总结一下因子图是什么。因子图有两类节点,一是变量节点,另一类为因子节点。这两类节点的内部没有边直接相连,变量的概率分布可以因式分解为因子节点的函数的乘积,因子节点的函数变量包括与其直接相连的变量节点。


        三类图各有特点,适用于不同的场合,且这三类图是可以相互转换的。转换方式此处不做描述。


    4.举例

        HMM,隐马尔可夫模型,是一种有向图模型。这和上述的1阶马尔可夫过程是类似的,不同之处在于我们能够观测到的量不是过程本身,而是与其有一定关系的另一些量。HMM应用很广泛,可以参考隐马尔可夫模型(HMM)攻略 。

    image

        RBM,限制玻尔兹曼机,无向图模型。了解深度学习相关知识的对这个应该很熟悉,看到无向图模型的时候就会发现,都有一个势能函数。这个我不太会,就不介绍了。

    image

        图像去噪,PRML中的一个例子,无向图模型。目的是从观测到的有噪声的图片中恢复出原始图片,做出的假设是观察到的图片像素点和原始图片相关,同时原始图片相邻像素点之间相关。

    image

        LDPC译码,差错控制编码中的例子,因子图。其中YY是观测节点,和变量节点XX相关,同时ff是因子节点,约束是连接该节点的变量节点模2和为0。(也可以去掉YY,这样就是比较标准的因子图了)

    image

    5.推理:和积算法

        本节将以和积算法为例,说明概率图模型下的概率计算过程。和积算法也用在LDPC译码过程中,这一过程也将证实“一些概率上的复杂的计算可以理解为图上的信息传递,这是我们就无需关注太多的复杂表达式了”这一观点。和积算法作用在因子图上,旨在计算边缘概率

        其中,表示除之外的变量集合。 具体算法推导过程可以参考PRML的p402。这里仅简单叙述。


        最简单的情况是只有一个变量节点和因子节点,这个时候就不用算了。但实际情况不可能是这样的,但这并不影响我们采用化繁为简的思路

        这里我们做出一个假设是一旦我们断开了一条变量节点和因子节点的边,那么因子图就变成了两个互不连通的因子图。(否则则有环,但实际上很多有环的图采用这一算法也得到了很好的结果)

    image

        考虑图上的信息流动,从因子节点fsfs到变量节点xx以及从变量节点xx到因子节点fsfs。充分利用上述假设带来的结果,最后我们可以推得

        以及

        此处不做具体解释,仅说明何为“图上的信息传递”。推理过程和最后的结果都不是很直观,但我们可以理解

        是因子节点传递给变量节点的信息,这包括除该变量节点之外的所有因子节点传递给校验节点的信息。表示为因子节点接收到的信息的乘积乘上因子节点本身的约束函数后求和。

        是变量节点传递给因子节点的信息,这表现为接收到的其他变量节点信息的乘积。


    6.参考和其他

         本文主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》(以下简称PRML)和《Probabilistic Graphical Models:Principles and Techniques》(以下简称PGM)这两本书。在本文的撰写过程中,还发现了CMU的同名公开课 ,并做了一定的参考(有些图是上面的)。

        PRML只有一章讲图模型,内容远远没有PGM多,思路也不相同。CMU公开课的参考书籍是PGM,我看的是03版的,不知道10多年过去了有没有再版。PGM的结构是从以下三点来进行的

    • Reprentation:如何建模以表示现实世界中的不确定性和各个量之间的关系。
    • Inference:如何从我们建立的模型中去推知我们要求的问题(概率).
    • Learnig:对于我的数据来说,什么模型是相对正确的?

        这一思路致力于建立一个解决问题的框架,很多机器学习算法可以从这一框架下来理解。这一部分内容还没怎么看,如果有机会的再好好看看吧,现在实在是……

        这部分内容我也是初学,且主要在差错控制编码(LDPC)上,希望能和大家多多交流.


    展开全文
  • 本文是小编结合了多个图模型的经典文章所作的一个总结,对于一谈到图模型和马尔科夫知识就产生厌恶的同学,本文会带你循序渐进的去理解图模型的算法原理。目录1.为什么要用有向图模型和无向图模型...

    本文是小编结合了多个图模型的经典文章所作的一个总结,对于一谈到图模型和马尔科夫知识就产生厌恶的同学,本文会带你循序渐进的去理解图模型的算法原理。

    目录

    1. 为什么要用有向图模型和无向图模型

    2. 有向图模型的条件独立概率表示方法

    3. 无向图模型的条件独立概率表示方法

    4. 有向图模型举例——贝叶斯网络

    5. 有向图模型举例——隐马尔科夫模型

    6. 无向图模型举例——马尔科夫随机场

    7. 小结

    概率建模在机器学习领域有着广泛的应用,如贝叶斯分类、隐马尔可夫模型和条件随机场。

     

    在实际的人工智能项目中,我们常常面对高维空间的特征,若以概率的角度去构建机器学习模型,你首先需要做的就是分析高维特征空间的联合概率

    举例来说,对于K维随机向量,其联合概率为高维空间的分布,一般难以建模。假设每个随机变量为离散值并有m个取值,下面开始介绍如何估计随机向量X的联合概率P(X)。

    1)最直接的方法是分析随机变量中所有可能的组合,每个随机变量有m个取值,K维随机向量X共有的可能取值,若要通过该方法正确的构建模型,则需要大量的训练数据。若每一个可能的随机向量X的联合分布用一个参数表示,那么构建该模型需要参数,当m=2,K=100时,模型参数的大小约为,这大大超出了目前计算机的存储能力。这里需要提醒的一点是随机向量X共有的可能取值,而模型参数个数是的原因是所有可能取值的概率和等于1,即自由度降低了1。

    2)我们对模型结构进行独立性假设,假设随机变量是相互独立的,那么随机向量X的联合概率为:

    独立性假设相比于第一种方法大大的减少了模型参数个数,如m=2,K=100时,模型参数个数是100,第一种方法的模型参数约为

    3)针对前两种估计联合概率方法的缺点,我们对模型结构进行了条件独立性假设,如果在给定的条件下相互独立,则联合概率有:

    上式是条件独立性的一个例子,独立性假设大大的减少了模型参数量,举个例子来说:

    假设有四个二值变量,用第一种方法计算联合概率,那么模型需要个参数。

    假设随机变量存在条件独立的关系,已知时,独立,则有:

    已知时,独立,则有:

    那么其联合概率p(x)可以分解为:

    可得:

    我们逐一分析上式所需要的模型参数:

    所需要的模型参数:

    所需要的模型参数:

    所需要的模型参数:

    所需要的模型参数:

    由上面每一式的分析可知,联合概率需要9个模型参数,相比于第一种方法,大大的减少了模型参数。因此在实际项目实践中,我们常常会对特征空间作条件独立性假设。

    基于条件独立性假设的优点,实际应用中的概率模型大多采用这一假设,图模型以一种可视化的方式描述变量间复杂的条件独立关系,并可以将一个复杂的联合概率分解为多个简单条件概率的乘积。图模型包含有向图模型和无向图模型,这也就是我们为什么要用有向图模型和无向图模型的原因。

    2.有向图模型的条件独立概率表示方法

    有向图结构包含了有向边(Edge)和节点(随机变量集合V),有向边连接各节点,表示随

    机变量间的条件独立关系。如下图,随机变量集,有向边表示随机变量间的条件独立关系。

    有向图结构包括下面三个基本结构:

    1)同父结构

    随机变量间的条件独立关系:给定变量,变量和变量相互独立。

    即:

    2)顺序结构

    随机变量间的条件独立关系:给定变量的值,变量和变量相互独立。

    即:

    3)V型结构

    随机变量间的条件独立关系:若变量未知,则变量和变量相互独立。

    即:

    给定一个复杂有向图,如何分析变量间的条件独立关系,如下图:

    我们采用“有向分离”分析变量间的条件独立关系:

    1) 找出有向图的所有V型结构,连接V型结构的所有父节点;

    2)将所有有向边改为无向边;

    3)若去掉某一节点,另两个节点是不连通的,称变量

    已知的条件下是相互独立的,即:

    等。

    3. 无向图模型的条件独立概率表示方法

    无向图的边是无方向的,如下图:

    对应的条件独立关系为:随机变量组的条件下是相互独立的。

    即:

    4.无向图模型的概率因子分解算法

    首先介绍下无向图中的团与最大团的定义,无向图G中任何两个均有边连接的结点子集称为团。若C是无向图G的一个团,并且不能加进任何一个G的结点使其成为一个更大的团,则称此C为最大团。

    根据团和最大团的定义,下图中由边连接的两个结点组成的团有4个:

    最大团有2个:

    不是团的原因是结点没有边连接。

    无向图模型的联合概率可分解为多个最大团上随机变量组的势函数乘积,称为无向图模型的

    概率因子分解。

    步骤为:

    1)找到无向图结构中的最大团集;

    2)求每个最大团的势函数;

    3)所有势函数相乘并归一化;

    【例】用概率因子分解算法求解随机变量组的联合概率:

    根据定义可得此图包含三个最大团:

    对应的势函数为:

    因此随机变量组X的联合概率为:

    其中Z是规范化因子,使联合概率的范围为[0,1],即:

    上式的为最大团的随机变量组。

    5.有向图模型举例:朴素贝叶斯分类算法

    朴素贝叶斯分类算法利用了条件独立性假设去建模,如下图:

    根据有向图的条件独立性假设,即:

    通过最大似然方法对上式建模,求解模型参数

    利用上式模型对输入的特征空间进行分类,即:

    6.有向图模型举例:隐马尔科夫模型

    隐马尔科夫模型常用于语音识别和语义标记,有如下模型图:

    随机变量组和随机变量组的联合概率为:

    其中是初始状态概率分布,是状态转移概率,是观测概率,深入理解隐马尔可夫模型请参考此文。

    上式联合概率的推导是基于条件独立概率进行的,用“有向分离”算法去分析变量间的条件独立关系,如:

    7.无向图模型举例:马尔科夫随机场

    马尔科夫随机场的核心思想是当前观测变量的值受到当前状态和其他状态的影响,用伊辛铁磁(Ising ferromagnetic model)模型的例子阐述马尔科夫随机场的场景问题。

     

    伊辛磁铁模型是一个空间随机场,每个原子受到两种力,一种是周围原子的力和外场的力,一种是环境噪声的扰动而产生随机偏转,即每个原子的方向受到这两种力的影响。为了便于介绍,本节的模型不考虑温度的影响。

    假设我们用变量表示每个原子的方向,如下图:

    根据铁磁模型中原子受到力的描述,所有原子的联合概率表示为:

    其中Z含义为规范化因子。

    上式第一项的表示原子受到周围原子力的影响,当时,相邻的原子倾向于有相同的旋转方向;时,相邻的原子倾向于有相反的旋转方向。

    第二项的表示原子受到外场的力。

    无磁场时的原子方向:

    外部磁场作用后的原子方向:

    下篇原创文章会有马尔科夫随机场原理的详细介绍,请持续关注小编吧。

    8.小结

    图模型可视化了多维随机变量间的条件独立关系,图模型的一个基础问题是如何求随机变量组的联合概率,文章结构清晰,希望初学者根据本文的内容能够理解图模型的算法思想。

    欢迎扫码关注:

    展开全文
  • 贝叶斯派的概率图模型概述(总)

    千次阅读 2022-04-21 23:14:05
    贝叶斯派的概率图模型概述

    1.什么是概率图模型

     

     

    2.概率图模型发展历程

    以下图论的BP的算法是推理算法,和神经网络和深度学习中的BP算法完全不同。

     

     

    3.概率图模型的表示、推理、学习

     

    3.1表示

     3.2推理

     3.3学习

    从数据中学习模型的结构和参数,或者在图像识别中靠先验知识 相邻像素的相似性来学习等。

     

    4.概率图模型应用举例

    4.1图像分割

    在图模型的结构层面采用网格状马尔可夫随机场,图模型参数的物理含义是相邻像素点具有连续、相似性,赋予其概率意义,分割结果如下。

     4.2立体视觉

    图模型的每一个节点对应一个像素点,图模型像素点之间的边的概率代表着相邻像素的连续、相似性,建模后进行推理计算,利用最大后验概率推理。求出每一个像素点的深度,亮的像素点近,暗的像素点远。图片底部为可参考的文献。

     4.3图像去噪

    对有噪声的自然图像复原。同样,图模型的每一个节点对应一个像素点,相邻像素点之间定义边的参数/概率意义为一个概率值,即相邻像素的相似性,相似度越高概率值越大。完成概率图表示后,进行推理计算,得出结果。图片底部为可参考的文献。

     

    4.4人体姿态估计

    首先对人体进行区块划分,每一个方块对应概率图的节点,矩形块的角度等对应概率图节点的变量,边代表着运动学约束。

    4.5医学图像处理

    三位概率图求解。每一个节点对应图像一个像素点, 像素点间的边 相邻像素的相似性。

     

    5.以后会更新的

     

    注:本文来自于 包治百病的小神仙的个人空间_哔哩哔哩_bilibili,用于学习和交流,侵删。

    展开全文
  • 概率图模型理解

    万次阅读 多人点赞 2017-12-17 22:24:17
    今天在看《Deep Learning》时候看到了概率图模型,但上面并没有详细介绍,考虑到有很多模型其实都是概率图模型,比如贝叶斯网络、隐马尔科夫模型(HMM)、条件随机场(CRF)等等,应用还挺广泛的,于是就去学习一下...
  • ERGM:《随机指数图模型导论》读书笔记 本来想搞一下tergm的,结果发现ergm都没搞明白,呜呜呜。 用的是格致的小绿皮~ 第一章 网络分析方法的希望于挑战 历史与概念 统计网络模型的两个分支: 行动者为...
  • PGM:概率图模型Graphical Model

    万次阅读 多人点赞 2016-05-21 16:57:42
    http://blog.csdn.net/pipisorry/article/details/51461878概率图模型Graphical Models简介完全通过代数...这种概率分布的图形表示被称为概率图模型( probabilistic graphical models )。这些模型提供了几个有用的性质
  • PGM:有向图模型:贝叶斯网络

    万次阅读 2016-09-09 17:26:10
    http://blog.csdn.net/pipisorry/article/details/52489270为什么用贝叶斯网络联合分布的显式表示Note: n个变量的联合分布,每个x对应两个值,共n个x,且所有概率总和...[PGM:贝叶斯网表示之朴素贝叶斯模型naive Bayes
  • 概率图模型是概率论和图论的结合,经常见到的贝叶斯网络、马尔可夫模型、最大熵模型、条件随机场都属于概率图模型,这些模型有效的解决了很多实际问题,比如自然语言处理中的词性标注、实体识别等,书里的描述都公式...
  • 概率图模型是机器学习的一个分支,它研究如何使用概率分布来描述世界,并对其进行有用的预测。 了解概率模型有多个理由。 首先,它是一个迷人的科学领域,有着美丽的理论,以惊人的方式将两种截然不同的数学分支...
  • 机器学习笔记(十四)概率图模型

    万次阅读 2017-05-17 11:44:53
    14.概率图模型 14.1隐马尔可夫模型 1、概率模型 机器学习是根据一些已观察到的证据(如训练样本)来对感兴趣的未知变量(如类别标记)进行估计和预测。概率模型(probabilistic model)提供了一种描述框架,将...
  • 本文从建模角度出发,通过概率图模型分析隐马尔可夫,条件随机场,文章重点在模型建立理论基础
  • 概率无向图模型

    万次阅读 热门讨论 2017-03-08 11:13:27
    前面看了概率有向图模型,必然对无向图模型也要研究一下。而且这个概率无向图模型对学习RBM有很大的帮助,它关系到能量函数的来源,所以还是看看吧。参考资料依旧是概率有向图模型中参考的三个资料。 有向图将一组...
  • 深度学习--概率图模型(一)

    万次阅读 2017-08-03 09:55:51
    一、概率图模型(PGM)引入:  在实际应用中,变量之间往往存在很多的独立性假设或近似独立,随机变量与随机变量之间存在极少数的关联。PGM根据变量之间的独立性假设,为我们提供了解决这类问题的机制,PGM是以...
  • 由于最近用到了多特征高斯分布,所以提前看了这一章。 1. 多元高斯分布 个人总结高斯分布其实就三个元素:期望、方差、概率密度函数。而多元高斯分布和单高斯分布不同点在于期望由一个值变成了期望矩阵,这个矩阵...
  • 概率图模型: Coursera课程资源分享和简介

    万次阅读 多人点赞 2016-08-11 19:29:03
    本博客概率图模型(Probabilistic Graphical Model)系列笔记以 Stanford 教授 Daphne Koller 的公开课Probabilistic Graphical Model为主线,结合资料(每篇博文脚注都附有链接)加以补充. 博文的章节编号与课程...
  • 概率图模型在图像处理中的应用

    千次阅读 2016-08-28 23:32:04
    概率图模型理论分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。  概率图理论共分为三个部分,分别为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。基本的概率图模型包括贝叶斯...
  • 本博客中概率图模型(Probabilistic Graphical Model)系列笔记以 Stanford 教授 Daphne Koller 的公开课 Probabilistic Graphical Model 为主线,结合资料(每篇博文脚注都附有链接)加以补充. 博文的章节编号与...
  • 概率图模型之有向图与无向图

    千次阅读 2016-06-12 20:32:18
    在RBM的使用中,采用了该模型 ... ...概率图模型之有向图与无向图 ...图模型用图结构描述随机变量之间的依赖关系,结点表示随机变量,边表示随机...无向图模型又叫马尔可夫网络、马尔可夫随机场,是关于一组有马尔可夫性
  • 文中的ER均由PowerDesigner创建。 PowerDesigner的使用方法可以参考MySQL系列(九):一文掌握PowerDesigner正向工程(CDM、PDM)与逆向工程 。 例1 ER: 关系模型: 例2 ER: 关系模型: 例3 ER: ...
  • 概率图模型有许多不同的实际应用。 我们总结了概率图形模型的下列应用,这些只是他们许多实际应用的一些例子。 图像的概率模型 考虑图像(像素矩阵)上的分布P(x),将较高概率分配给看起来真实的图像,将较低...
  • 翻开Jordan和Wainwright著作的书,正文开始(第二章)就说概率图模型的核心就是:分解。的确是这样的,对于复杂的概率图模型,要在复杂交织的变量中求取某个变量的边缘概率,常规的做法就是套用贝叶斯公式,积分掉...
  • 机器学习读书笔记: 概率图模型

    千次阅读 2020-11-13 11:11:38
    文章目录几种模型隐马尔可夫模型马尔科夫随机场条件随机...​ 概率图模型则是一类用图来表达变量相关关系的概率模型。 ​ 讲线面几个马尔科夫模型之前,先提一下几个概念(都是自己的理解,不怎么严谨)。 ​ 马尔科夫过
  • 使用TensorFlow进行模型搭建训练,分类实战
  • 一. 图模型(graphical model, GM)的表示

    万次阅读 2010-07-29 17:17:00
    图模型(graphical model)是一类用图来表示概率分布的一类技术的总称。 它的主要优点是把概率分布中的条件独立用图的形式表达出来,从而可以把一个概率分布(特定的,和应用相关的)表示为很多因子的乘积...
  • 上篇主要介绍了半监督学习,首先从如何利用未标记样本所蕴含的分布信息出发,引入了半监督学习的基本概念,接着分别介绍了常见的半监督学习方法:生成式方法基于对数据...本篇将讨论一种基于图的学习算法--概率图模型
  • latex中绘制graphical model概率图模型

    千次阅读 2012-11-27 11:19:14
    最近写论文时,需要绘制LDA的概率图模型,而以前自己用PPT+windows自带的绘图工具画图,感觉和latex风格不符合,挺别扭的。 于是今天特地找了找是否有这种类似的包可以绘制。  开始以为gnuplot可以绘制, ...
  • 概率图模型(Probabilistic Graphical Model)系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。(https://class.coursera.org/pgm-2012-002/class/index)主要内容包括(转载请...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,797,518
精华内容 719,007
关键字:

图模型