精华内容
下载资源
问答
  • 概率图模型
    千次阅读
    2021-10-26 23:01:17

    概率图模型–因子图 – 潘登同学的Machine Learning笔记

    简单回顾概率图模型

    概率图就是概率论+图论;

    最大的贡献就是联合概率分布可以表示为局部势函数的连乘积;

    回顾贝叶斯网络

    贝叶斯网络

    将联合概率分布可以表示为局部势函数的联乘积

    P ( S , C , X , B , D ) = P ( S ) P ( C ∣ S ) P ( B ∣ S ) P ( X ∣ C , S ) P ( D ∣ C , B ) P(S,C,X,B,D) = P(S)P(C|S)P(B|S)P(X|C,S)P(D|C,B) P(S,C,X,B,D)=P(S)P(CS)P(BS)P(XC,S)P(DC,B)

    简单回顾马尔可夫随机场(MRF)

    A
    D
    B
    C

    P ( A , B , C , D ) = 1 Z ϕ ∏ i = 1 k ϕ i ( D i ) = 1 Z ϕ ϕ 1 ( A , B ) ϕ 2 ( B , C ) ϕ 3 ( C , D ) ϕ 4 ( D , A ) \begin{aligned} P(A,B,C,D) &= \frac{1}{Z_{\phi}}\prod_{i=1}^{k}\phi_i(D_i) \\ &= \frac{1}{Z_{\phi}}\phi_1(A,B)\phi_2(B,C)\phi_3(C,D)\phi_4(D,A) \\ \end{aligned} P(A,B,C,D)=Zϕ1i=1kϕi(Di)=Zϕ1ϕ1(A,B)ϕ2(B,C)ϕ3(C,D)ϕ4(D,A)

    因子图

    因子图其实是上面这些概率图模型的一个统一表述;

    因子图

    • 因子图是一个二部图, 一边是变量 x x x, 一边是因子 f f f;

    变量就是自变量; 因子就可以理解为势函数, 也就是参数;

    • 定义

    因子图是一类无向概率图模型, 包括变量节点和因子节点。 变量节点和因子节点之间有无向边连接。 与某个因子节点相连的变量节点, 为该因子的变量。 定义在因子图上的联合概率分布可以表示为各个因子的联乘积;

    看! 又是联乘积了对叭…

    • 用各个因子的联乘积表示上图
      p ( x ) = 1 Z ϕ ∏ A f A ( x A ) p(x) = \frac{1}{Z_{\phi}}\prod_{A}f_A(x_A) p(x)=Zϕ1AfA(xA)
      具体来说,
      p ( x 1 , x 2 , x 3 ) = 1 Z ϕ f a ( x 1 , x 2 ) f b ( x 1 , x 2 ) f c ( x 2 , x 3 ) f d ( x 3 ) p(x_1, x_2, x_3) = \frac{1}{Z_{\phi}}f_{a}(x_1, x_2)f_{b}(x_1, x_2)f_{c}(x_2, x_3)f_{d}(x_3) p(x1,x2,x3)=Zϕ1fa(x1,x2)fb(x1,x2)fc(x2,x3)fd(x3)

    将贝叶斯网络用因子图表示

    贝叶斯网络

    将贝叶斯网络用因子图表示,如下:

    因子图的图

    • 数学表示:
      P ( S , C , B , D , X ) = f S ( S ) f C ( S , C ) f B ( S , B ) f X ( S , C , X ) f D ( C , B , D ) P(S,C,B,D,X) = f_S(S)f_C(S,C)f_B(S,B)f_X(S,C,X)f_D(C,B,D) P(S,C,B,D,X)=fS(S)fC(S,C)fB(S,B)fX(S,C,X)fD(C,B,D)

    • 再来看看原本贝叶斯网络的数学表示

    P ( S , C , X , B , D ) = P ( S ) P ( C ∣ S ) P ( B ∣ S ) P ( X ∣ C , S ) P ( D ∣ C , B ) P(S,C,X,B,D) = P(S)P(C|S)P(B|S)P(X|C,S)P(D|C,B) P(S,C,X,B,D)=P(S)P(CS)P(BS)P(XC,S)P(DC,B)

    其实他俩一样对吧; 但是关键点就是这个P(S)

    一般的P(S)我们就单纯的把他理解发生某件事为概率,如
    P 明 天 下 雨 = 0.6 ; ∴ P 明 天 下 雨 = 0.4 P_{明天下雨} = 0.6; \therefore P_{明天下雨} = 0.4 P=0.6;P=0.4

    但是因子图, 把这样的概率表示成了因子节点, 所以整个因子图就把输入变量和因子节点分隔开, 这样虽然本质不变, 但是便于目标的求解;

    将马尔科夫随机场用因子图表示

    A
    D
    B
    C
    • 表示如下:

    MRF因子图的图

    可以看到, 因子图的一组节点是输入变量, 另一组节点是原本的边, (也可以理解为对原图的所有边都做了一个细分同构)

    其实就是把原本MRF的边当做了一些新的节点, 而MRF的边的含义就是势函数, 所以因子图把势函数当做了一些新的节点, 就把输入变量与势函数分隔开了;

    • MRF的细分同构

    (就是在原本边上加了一个节点)

    A
    f_B
    f_A
    B
    f_D
    D
    f_C
    C

    可以看出这个图跟上面二部图其实是一样的, 只是视觉问题而已;

    • 数学表示:
      P ( A , B , C , D ) = 1 Z f 1 ( A , B ) f 2 ( B , C ) f 3 ( C , D ) f 4 ( D , A ) P(A,B,C,D) = \frac{1}{Z}f_1(A,B)f_2(B,C)f_3(C,D)f_4(D,A) P(A,B,C,D)=Z1f1(A,B)f2(B,C)f3(C,D)f4(D,A)

    • 再来看看原本MRF的数学表示
      P ( A , B , C , D ) = 1 Z ϕ ∏ i = 1 k ϕ i ( D i ) = 1 Z ϕ ϕ 1 ( A , B ) ϕ 2 ( B , C ) ϕ 3 ( C , D ) ϕ 4 ( D , A ) \begin{aligned} P(A,B,C,D) &= \frac{1}{Z_{\phi}}\prod_{i=1}^{k}\phi_i(D_i) \\ &= \frac{1}{Z_{\phi}}\phi_1(A,B)\phi_2(B,C)\phi_3(C,D)\phi_4(D,A) \\ \end{aligned} P(A,B,C,D)=Zϕ1i=1kϕi(Di)=Zϕ1ϕ1(A,B)ϕ2(B,C)ϕ3(C,D)ϕ4(D,A)

    其实他俩没啥区别吧, 所以因子图就是一个大一统的模型吧, 方便求解;

    但其实也能看出他的一个缺点, 就是没有贝叶斯网络和MRF那样直观, 贝叶斯网络与MRF的因果关系都很显然, 但因子图借用了二部图会难以看出因果关系;

    总结

    联合概率分布的因子分解是概率图模型表示的核心概念, 大大降低了模型的复杂度

    因子图就是这样了, 继续下一章吧!pd的Machine Learning

    更多相关内容
  • 概率图模型经典教材中文版是一本非常好的书,值得一看,(概率图模型 原理与技术 科勒 清华大学)
  • 概率图模型

    2016-03-19 22:53:39
    概率图模型最经典的书籍,值得慢慢读
  • 市面上的这本书都比较模糊,而且没有目录,做了二值化处理尽量压缩这个pdf,然后加上了目录 适合研究生用,一千多页,比较难 ...4.第4章无向图模型.. 103 5.第5章局部概率模型.. 155 6.第6章基于模板的表示.. 195
  • 概率图模型pdf讲义超详细
  • 概率图模型中文图书

    2017-10-31 22:02:09
    概率图模型学习理论及其应用》;赵悦著;清华大学出版社;157页 概率图模型领域为数不多的国内好教材,一百多页,绝对平易近人(吐槽:Koller的经典著作,那厚度,像板儿砖,还没看就能吓死你)
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型研究进展综述
  • 书籍很不错,彩色的,很清晰,浅显易懂,容易理解,书籍很不错,彩色的,很清晰,浅显易懂,容易理解,
  • 这本书主要是阐述传统的概率图模型的,对于现在火热的深度学习来说,正好。
  • 概率图模型(总结篇)

    千次阅读 2021-01-21 07:30:00
    今天我们对概率图模型(Probabilistic Graphical Model,PGM)做一个总结。模型表示 概率图模型,是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型...

    今天我们对概率图模型(Probabilistic Graphical Model,PGM)做一个总结。

    模型表示

    概率图模型,是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型。

    它提出的背景是为了更好研究复杂联合概率分布的数据特征,假设一些变量的条件独立性,由此我们把概率图模型分为有向图无向图,并且介绍了它们的模型表示、条件独立性。

    有向图模型又称贝叶斯网络信念网络,其联合概率分布可以分解为每个随机变量Xk的局部条件概率的乘积形式:

    贝叶斯网络的条件独立性体现在三种形式:tail-to-tail,head-to-tailhead-to-head。

    无向图模型又称马尔科夫随机场马尔科夫网络,它的联合概率分布由Hammersley Clifford定理保证,能够因子分解为定义在最大团上的正函数的乘积

    马尔科夫随机场的条件独立性体现在局部马尔可夫性、全局马尔可夫性和成对马尔可夫性,他们是相互等价的:

    接着我们介绍了判断变量条件独立性的方法——D分离,最后我们得到更一般的算法来确定以下形式之一的独立性问题:

    • 给定Z,X和Y是否条件独立

    • X和Y边际独立吗

    文章链接:

    概率图模型(模型表示)

    概率图模型(D分离)

    模型推断

    概率图模型只是为了简便研究模型方便而提出的工具,通常我们把得到联合概率分布参数的过程称为Learning问题,得到参数后,最终要进行推断,称为Inference问题,一般情况下,推断问题分为精确推断近似推断。

    精确推断有变量消除法(VE)和信念传播法(BP)。变量消除法的思想,它的核心是每次对一个变量求积分。

    VE算法存在很明显的两个缺点:计算步骤无法存储;消除的最优次序是一个NP-hard问题。因此要对此算法进行改进,得到信念传播算法(BP),该算法的流程主要有三步:

    step1:任取⼀个节点 作为根节点

    step2:对这个根节点的邻居中的每⼀个节点,收集信息

    step3:对根节点的邻居,分发信息

    近似推断又分为确定性近似随机性近似。

    很多情况,无法用最大似然估计(MLE)直接求得参数,模型由一些不可观测的变量决定,它们无法直接观测,需要引入隐变量来定义它们。通常情况可以用期望最大化(EM算法)求解,它是一种迭代算法,主要思想是把一个难于处理的似然函数最大化问题用一个易于最大化的序列取代,而其极限是原始问题的解。

    E步本质是求隐变量z的后验分布p(z|x,θ),想方设法把隐变量z积分掉,M步求似然函数最大值的参数θ。

    变分推断(VI)是一种确定性近似方法,它的初始算法是基于平均场假设理论,不过该算法存在两个局限:假设太强,期望的积分可能无法计算。由此对算法改进,得到随机梯度变分推断(SGVI),利用重参数技巧和蒙特卡洛采样得到目标函数的梯度,进而采取梯度下降得到近似解。

    随机性近似推断的典型是马尔科夫链蒙特卡洛方法(MCMC),主要思想是通过构建马尔可夫链概率序列,使其收敛到平稳分布p(z)。

    蒙特卡洛采样是一种随机模拟方法,核心是求解x的概率分布p(x),以及如何基于概率分布去采集n个样本点。采样的目标是采集到的样本能够代表总体,要满足两点:

    • 样本趋向于高概率的区域

    • 样本之间必须独立

    常用的采样方法有概率分布采样(CDF Sampling)拒绝采样(Rejection Sampling)重要性采样(Importance Sampling)

    马尔可夫链是一种时间和状态都是离散的随机变量序列,它由状态空间和转移矩阵定义,通常情况我们研究齐次马尔可夫链(未来状态的条件概率分布仅依赖于现在状态)。

    平稳分布就是表示在某一个时刻后,分布不再改变。我们通过蚱蜢的例子来深入介绍了平稳分布,它表示了停留在某一状态的概率与从随机采样的前期状态转移到它的概率相同。

    但并不是所有马氏链都是平稳分布,所以我们想找到一种构建有平稳分布的马氏链。这就引入了平稳分布的充分条件——细致平衡。

    细致平衡条件将平稳分布的序列和⻢尔可夫链的转移矩阵联系在⼀起,把转移矩阵作为提议矩阵(提议函数),通过它可以不断⽣成样本点,就可以完成采样了,这个就是MCMC。主要用到MH算法,面对高维空间的话,用到MH的优化算法——Gibbs采样

    文章传送门:

    模型推断:VE与BP

    EM算法

    变分推断(Variational Inference)

    MCMC(蒙特卡洛采样)

    MCMC(马尔可夫链)

    MCMC(MH算法)

    具体模型

    最简单的图模型是朴素贝叶斯,它是一个强假设:即给定y的情况下,特征之间相互独立:

    引⼊单个隐变量后,发展出了高斯混合模型(GMM)

    如果单个隐变量变成序列的隐变量,就得到了动态空间模型(Dynamic Model)

    引⼊齐次马尔科夫假观测独立假设就有隐马尔科夫模型(HMM)卡尔曼滤波粒子滤波.

    HMM的隐状态假设是离散的,卡尔曼滤波的隐状态假设是连续的,但观测变量服从高斯分布,而粒子滤波是非线性非高斯情况下的动态模型。

    为了打破观测独立性,引⼊了⼀种最大熵马尔科夫模型MEMM它把最大熵原理与隐马尔科夫模型结合:

    为了克服 MEMM 中的局域问题,⼜引⼊了条件随机场(CRF),CRF 是⼀个⽆向图,其中,破坏了⻬次⻢尔可夫假设,如果隐变量是⼀个链式结构,那么⼜叫线性链 CRF。

    在⽆向图的基础上,引⼊隐变量得到了玻尔兹曼机,这个图模型的概率密度函数是⼀个指数族分布。对隐变量和观测变量作出⼀定的限制,就得到了受限玻尔兹曼机(RBM)

    我们看到,不同的概率图模型对下⾯⼏个特点作出假设:

    1. 向-边的性质

    2. 离散/连续/混合-点的性质

    3. 条件独立性-边的性质

    4. 隐变量-点的性质

    5. 指数族-结构特点

    此外,我们介绍五种聚类算法:基于质心的K-means算法,基于概率分布的GMM算法,基于密度的DBSCAN算法,基于无向图的谱聚类,以及基于层次聚类的BIRCH算法,其中K-means可以看成GMM的特殊情形。

    最后,我们很久前介绍过了贝叶斯线性回归高斯过程回归(GPR),它也可以看成概率图模型,我们是专门为了介绍一种调参方法而提前介绍这两个模型——贝叶斯优化(BOA),它可以在无法确定函数表达式的前提下,找到函数的最值点。

    文章传送门:

    高斯混合模型(GMM)

    隐马尔可夫模型(背景介绍)

    隐马尔可夫模型(前向算法与后向算法)

    隐马尔可夫模型(Baum Welch算法与Viterbi算法)

    隐马尔可夫模型(模型推断五大问题)

    隐马尔可夫模型(算法流程&实例演示)

    线性动态系统LDS(别名:卡尔曼滤波)

    粒子滤波(Particle Filter)

    条件随机场CRF(一)

    条件随机场CRF(二)

    条件随机场CRF(三)

    受限波尔茨曼机(RBM)

    高斯网络(GBN与GMN)

    聚类算法(K-means)

    聚类算法(谱聚类)

    聚类算法(BIRCH)

    聚类算法(DBSCAN)

    聚类算法(相似度与性能度量)

    贝叶斯线性回归

    高斯过程回归(GPR)

    贝叶斯优化

    对于上面的概率图模型,我们有部分给出了编程实现,有部分还没有,以后会陆续介绍。目前重点是把原理介绍清楚,对机器学习有个整体把握。熟悉这些工具,加上其原理的思想,在我们工作中灵活应用,希望对亲爱的读者你有用!

    我们不久后开始深度学习的内容,再难,我也想你一起学算法!!!

    展开全文
  • 概率图模型贝叶斯

    2018-07-04 17:19:57
    概率图模型时有诸多困惑,网上却没有一份浅显易懂的教程,自己整理的一个概率图模型的PPT,希望帮助到需要的人
  • 贝叶斯派的概率图模型概述(总)

    千次阅读 2022-04-21 23:14:05
    贝叶斯派的概率图模型概述

    1.什么是概率图模型

     

     

    2.概率图模型发展历程

    以下图论的BP的算法是推理算法,和神经网络和深度学习中的BP算法完全不同。

     

     

    3.概率图模型的表示、推理、学习

     

    3.1表示

     3.2推理

     3.3学习

    从数据中学习模型的结构和参数,或者在图像识别中靠先验知识 相邻像素的相似性来学习等。

     

    4.概率图模型应用举例

    4.1图像分割

    在图模型的结构层面采用网格状马尔可夫随机场,图模型参数的物理含义是相邻像素点具有连续、相似性,赋予其概率意义,分割结果如下。

     4.2立体视觉

    图模型的每一个节点对应一个像素点,图模型像素点之间的边的概率代表着相邻像素的连续、相似性,建模后进行推理计算,利用最大后验概率推理。求出每一个像素点的深度,亮的像素点近,暗的像素点远。图片底部为可参考的文献。

     4.3图像去噪

    对有噪声的自然图像复原。同样,图模型的每一个节点对应一个像素点,相邻像素点之间定义边的参数/概率意义为一个概率值,即相邻像素的相似性,相似度越高概率值越大。完成概率图表示后,进行推理计算,得出结果。图片底部为可参考的文献。

     

    4.4人体姿态估计

    首先对人体进行区块划分,每一个方块对应概率图的节点,矩形块的角度等对应概率图节点的变量,边代表着运动学约束。

    4.5医学图像处理

    三位概率图求解。每一个节点对应图像一个像素点, 像素点间的边 相邻像素的相似性。

     

    5.以后会更新的

     

    注:本文来自于 包治百病的小神仙的个人空间_哔哩哔哩_bilibili,用于学习和交流,侵删。

    展开全文
  • chap-概率图模型1

    2022-08-03 23:50:50
    第十一章概率图模型在概率论和统计学中,概率图模型(probabilistic graphical model,PGM),简称图模型(graphical mode
  • Learning Probabilistic Graphical Models in R 概率图模型:基于R语言 中文 高清 文字 无水印
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。
  • 概率图模型是用图来表示变量概率依赖关系的理论,分为概率图模型表示理论,概率图模型推理理论和概率图模型学习理论。在人工智能、机器学习和计算机视觉等领域有广阔的应用前景

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 254,590
精华内容 101,836
关键字:

概率图模型

友情链接: TTS.rar