概率图模型

概率图模型是一类用途来表达变量相关关系的概率模型。按有向图无向图划分可分为有向图模型，或者叫做贝叶斯网络，无向图模型，又叫做马尔科夫网。



生成模型和判别模型

在概率模型中，假定我们关心的变量集合为Y，可观测变量为O，其他变量为R，那么生成模型考虑联合分布P（Y，R，O），判别模型考虑条件分布P（Y，R | O）。



隐马尔科夫模型（HMM）



隐马尔科夫模型（HMM）是一种有向图模型，在时序数据建模，语音识别，自然语言处理等领域有广泛应用。

如图所示状态变量{y1, y2, … , yn}称为状态变量，也被称为隐变量，观测变量为{x1, x2, x3, … , xn}，每一个状态变量仅依赖于当前时刻的观测值和上一时刻状态变量，而与其他变量无关，这种性质我们称之为马尔科夫性。满足这种条件的概率图模型就叫做隐马尔科夫模型。

有向的概率图模型中有向边可以呀条件概率表示，指向的变量作为条件，被指向的变量作为状态。那么图中横向的边可以表示为 P( y(i+1) | y(i) )，我们称之为转移概率，竖向的边可以表示为 P( x(i) |y(i) )，我们称之为观测概率， P( y1 )我们称之为初始状态。那么考虑这个模型的联合概率分布为：

P（x1, x2, y1, y2, … , xn, yn） = P( y1 ) P( x1 | y1 ) P( y1 | y2 ) … P( y(n) | y(n-1) ) P( xn | yn ).



马尔科夫随机场（MRF）



马尔科夫随机场（MRF）是一种无向图模型，也是一种生成模型。由于无向图边的关系不能简单地用条件概率表示，所以他的联合概率密度由一组定义在在团上的势函数表示。

P（x）= 1 / Z * ∏（ Ø（x（q）））

其中，Ø（x（q））为每一个团所对应的势函数，表达了这个团中节点的关系，势函数一般定义为指数函数，其指数项包含两个方面，其一考虑单一节点，其二考虑每一对节点的关系，具体形式在这里就省略了。 

Z为归一化因子，使得概率在（0~1）之间。

注： 

团的定义：对于图中节点的一个子集，若其中任意两节点间都有边连接，则该节点子集构成一个团。



条件随机场（CRF）

条件随机场是一个无向图模型，同时它是判别模型，他在马尔科夫随机场的基础上加入了观测变量，使其满足条件概率。



条件随机场的模型同样是由定义在团上势函数表示的。



势函数同样有两部分组成，一部分只考虑单节点，叫做状态特征，另一部分考虑每对节点，叫做转移特征。



学习

已知一组样本的观测值{x1, x2, … , xn}和他们对应的状态{y1, y2, … , yn}，求解模型，具体的来说是求解模型中参数的过程叫做学习过程，也叫作参数估计的过程。

具体到条件随机场中就是求解参数 λ 的过程。

我们可以用最大化似然函数（也就是模型的条件概率分布）来求解。目前最常见的方法为BFGS算法，具体最优化方法原理可参见：


  
http://www.cnblogs.com/wuseguang/p/4088817.html


推断

已知一组样本的观测值{x1, x2, … , xn}和模型的参数，求解状态值边际分布P（yi）的过程称为推断，例如在词性标注中，给出一段未标注的文字，和CRF模型参数，求解每个词语属于哪种词性的概率或者概率的期望值的过程就叫做推断，或者预测。

概率图模型的推断方法大致分为两种。

一种是精确推断，希望能计算出目标变量的边际分布的精确值，但这类算法的计算复杂度是指数级的，随着图的增大，计算时间呈爆炸式增长。

第二种是近似推断，只能求出近似解，在现实任务中更常用。

在很多任务中，我们关注某些概率分布仅仅只是要计算他们的期望值，例如词性标注中计算CRF模型中边界概率的期望值来判断词性，然而这个概率分布可能很复杂，无法求出，那么我么考虑通过在分布中采样，通过大数定律来近似分布的期望值。

那么如何在不知道分布函数的情况下获取概率分布的采样呢？概率图模型中最常用的技术是马尔科夫链蒙特卡洛方法（MCMC），具体原理可参见：


  
http://blog.csdn.net/justdoithai/article/details/51194320

机器学习导图系列教程旨在帮助引导开发者对机器学习知识网络有一个系统的概念，其中有些具体释义并未完善，需要开发者自己探索才能对具体知识有深入的掌握。本项目灵感来自Daniel Formoso的github开源项目。本文作者对其项目进行翻译、整理、批注等二次创作，其中不乏生僻的数学名词，对于没有留过学的作者来说费了很多功夫。我又将导图整理成了知识卡片，方便大家查看。由于机器学习的知识网络很大，导致完整的导图过大，文章中的图片可能经过压缩，如需完整图片可查看github项目machine-learning-mindmap-cn下载高清原图。本系列还在持续创作中终于完成了，你的点赞、留言、star都会成为我持续创作的动力。
machine-learning-mindmap-cn: https://github.com/caiyongji/machine-learning-mindmap-cn
机器学习导图系列分为五大模块。

机器学习数据处理
机器学习概念
机器学习过程
机器学习算法
机器学习模型及神经网络模型


机器学习模型
回归

贝叶斯

降维

实例

决策树

聚类

神经网络
神经元与层

批量标准化与学习率

初始化权重

反向传播

激活函数

最后
呼……终于写完了。接下来我有时间的话会连载《深度学习》系列的知识卡片，欢迎大家继续关注。

什么是机器学习模型呢？机器学习模型是一种集多种计算模型一体的的模型，主要作用于计算机和机器智能AI，机器学习模型帮助AI实现自我学习的过程，是人工智能的核心。机器学习模型通过复杂的数学、科学、理论知识等等，让AI模拟人类的学习方式，实现智能化。机器学习模型的特点是，人工智能可以根据所给的数据进行学习和自我进化。
机器学习模型的常见用途
1、机器学习模型是目前人工智能的主要研究领域，通过构建机器学习模型，模拟出人脑的计算方法，让机器学会记忆、解释、思考。
2、机器学习模型可以进行数据分析与挖掘，机器运用大数据对数据进行全面的分析，计算结果更加严谨、可靠。
机器学习模型的绘制方法
绘制一副机器学习模型图十分的简单，只需要下面几个步骤，便可以轻松绘制出一副专业整洁的机器学习模型。
第一步：点击下载“亿图图示”软件，或者直接访问亿图图示网页在线版，启动软件，开始作图。
第二步：新建机器学习模型，直接在亿图图示搜索界面，搜索机器学习模型，然后在下方模板库中选择一个模板，点击打开并使用。
第三步：打开模板后，点击画布左侧的符号库，选择自己需要的符号直接拖拽到画布中，亿图图示会帮你自动吸附和对齐。
第四步：替换模板中的文字，删除不必要的文字和符号。
第五步：完成机器学习模型的绘制后，可以点击右上角的保存、下载、打印、分享等按钮，对绘制好的机器学习模型作品进行存储。也可以将作品导出为图片、PDF、PPT等格式。
机器学习模型绘制软件-亿图图示
亿图图示是一款综合型的图形图表设计应用，拥有超过上千中模板供用户使用，例如机器学习模型、流程图模板、组织结构图模型等等。亿图图示不仅为用户提供例子模板，还为用户提供智能优化，例如一键分享、智能吸附对齐、数据导入生成图表等智能操作，帮你提高工作效率。
使用亿图图示绘制机器学习模型，不需要复杂的绘制过程，只需要动动手，一键套用模板，拖拽符号便可。
为什么选择亿图图示绘制机器学习模型？
1、简单易懂：亿图图示的操作十分简单，而且还会运用智能化工具帮你绘制图表，提高工作效率。
2、超多模板：亿图图示拥有260多种模板类型和3000多种模板，找到你需要的模板套用即可。
3、适配高：亿图图示支持WIindws、Mac、Linux系统，还推出有网页在线绘制版本，只需要连上网络，就可以绘制图表。
4、多文件转换功能：亿图图示可以导入和导出Visio、Office、Excel等格式文件，还可以一键打印分享，快捷又方便。
5、国产之光：亿图图示是一款纯国产的办公软件，可以想象，亿图图示从WPS、Office等办公软件中脱引而出，必有其过人之处。