马尔科夫链 订阅
马尔可夫链(Markov Chain, MC)是概率论和数理统计中具有马尔可夫性质(Markov property)且存在于离散的指数集(index set)和状态空间(state space)内的随机过程(stochastic process) [1-2]  。适用于连续指数集的马尔可夫链被称为马尔可夫过程(Markov process),但有时也被视为马尔可夫链的子集,即连续时间马尔可夫链(Continuous-Time MC, CTMC),与离散时间马尔可夫链(Discrete-Time MC, DTMC)相对应,因此马尔可夫链是一个较为宽泛的概念 [2]  。马尔可夫链可通过转移矩阵和转移图定义,除马尔可夫性外,马尔可夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔可夫链是严格平稳的马尔可夫链,拥有唯一的平稳分布。遍历马尔可夫链(ergodic MC)的极限分布收敛于其平稳分布 [1]  。马尔可夫链可被应用于蒙特卡罗方法中,形成马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC) [2-3]  ,也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。此外作为结构最简单的马尔可夫模型(Markov model),一些机器学习算法,例如隐马尔可夫模型(Hidden Markov Model, HMM)、马尔可夫随机场(Markov Random Field, MRF)和马尔可夫决策过程(Markov decision process, MDP)以马尔可夫链为理论基础 [4]  。马尔可夫链的命名来自俄国数学家安德雷·马尔可夫(Андрей Андреевич Марков)以纪念其首次提出马尔可夫链和对其收敛性质所做的研究 [5]  。 展开全文
马尔可夫链(Markov Chain, MC)是概率论和数理统计中具有马尔可夫性质(Markov property)且存在于离散的指数集(index set)和状态空间(state space)内的随机过程(stochastic process) [1-2]  。适用于连续指数集的马尔可夫链被称为马尔可夫过程(Markov process),但有时也被视为马尔可夫链的子集,即连续时间马尔可夫链(Continuous-Time MC, CTMC),与离散时间马尔可夫链(Discrete-Time MC, DTMC)相对应,因此马尔可夫链是一个较为宽泛的概念 [2]  。马尔可夫链可通过转移矩阵和转移图定义,除马尔可夫性外,马尔可夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔可夫链是严格平稳的马尔可夫链,拥有唯一的平稳分布。遍历马尔可夫链(ergodic MC)的极限分布收敛于其平稳分布 [1]  。马尔可夫链可被应用于蒙特卡罗方法中,形成马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC) [2-3]  ,也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。此外作为结构最简单的马尔可夫模型(Markov model),一些机器学习算法,例如隐马尔可夫模型(Hidden Markov Model, HMM)、马尔可夫随机场(Markov Random Field, MRF)和马尔可夫决策过程(Markov decision process, MDP)以马尔可夫链为理论基础 [4]  。马尔可夫链的命名来自俄国数学家安德雷·马尔可夫(Андрей Андреевич Марков)以纪念其首次提出马尔可夫链和对其收敛性质所做的研究 [5]  。
信息
外文名
Markov chain
提出时间
1906年 [6]
提出者
Andrey A. Markov
类    型
随机过程
中文名
马尔可夫链
学    科
统计学
应    用
数值模拟,机器学习
马尔可夫链历史
马尔可夫链的提出来自俄国数学家安德雷·马尔可夫(Андрей Андреевич Марков)。马尔可夫在1906-1907年间发表的研究中为了证明随机变量间的独立性不是弱大数定律(weak law of large numbers)和中心极限定理(central limit theorem)成立的必要条件,构造了一个按条件概率相互依赖的随机过程,并证明其在一定条件下收敛于一组向量,该随机过程被后世称为马尔可夫链 [1]  [5-6]  。在马尔可夫链被提出之后,保罗·埃伦费斯特(Paul Ehrenfest)和Tatiana Afanasyeva在1907年使用马尔可夫链建立了Ehrenfest扩散模型(Ehrenfest model of diffusion) [7]  。1912年亨利·庞加莱(Jules Henri Poincaré)研究了有限群上的马尔可夫链并得到了庞加莱不等式(Poincaré inequality) [8-9]  。1931年,安德雷·柯尔莫哥洛夫(Андрей Николаевич Колмогоров)在对扩散问题的研究中将马尔可夫链推广至连续指数集得到了连续时间马尔可夫链,并推出了其联合分布函数的计算公式 [10]  。独立于柯尔莫哥洛夫,1926年,Sydney Chapman在研究布朗运动时也得到了该计算公式,即后来的Chapman-Kolmogorov等式 [10]  。1953年,Nicholas Metropolis等通过构建马尔可夫链完成了对流体目标分布函数的随机模拟 [11]  ,该方法在1970年由Wilfred K. Hastings进一步完善,并发展为现今的梅特罗波利斯-黑斯廷斯算法(Metropolis-Hastings algorithm) [12]  。1957年,Richard Bellman通过离散随机最优控制模型首次提出了马尔可夫决策过程(Markov Decision Processes, MDP) [13]  。1959-1962,前苏联数学家Eugene Borisovich Dynkin完善了柯尔莫哥洛夫的理论并通过Dynkin公式(Dynkin formula)将平稳马尔可夫过程与鞅过程(martingale process)相联系 [14-15]  。此后以马尔可夫链为基础,更复杂的马尔可夫模型(例如隐马尔可夫模型 [16]  和马尔可夫随机场 [17]  )被相继提出,并在模式识别等实际问题中得到应用了 [18]  。
收起全文
精华内容
下载资源
问答
  • 马尔科夫链

    2018-09-26 16:32:44
    马尔科夫链
  • 前言译自:《Training Restricted Boltzmann Machines: An Introduction 》 马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂的概率分布(比如马尔科夫随机场MRF的吉布斯分布)中提取样本。这一部分主要就是对...

    前言

    译自:《Training Restricted Boltzmann Machines: An Introduction 》

    马尔科夫链在RBM的训练中占据重要地位,因为它提供了从复杂的概率分布(比如马尔科夫随机场MRF的吉布斯分布)中提取样本。这一部分主要就是对马尔科夫链做个基本的理论介绍,将要着重强调的是,将吉布斯采样作为一种马尔科夫链蒙特卡洛方法去训练马尔科夫随机场以及训练RBM。

    马尔科夫链

    一个马尔科夫链是离散时间的随机过程,系统的下一个状态仅仅依赖当前的所处状态,与在它之前发生的事情无关。形式上,一个马尔科夫链是一组随机变量X={X(k)|kN0},取值是一个有限集Ω,而且对于k0以及j,i,i0,,ik1Ω都有

    p(k)ij=Pr(X(k+1)=j|X(k)=i,X(k1)=ik1,,X(0)=i0)=Pr(X(k+1)=j|X(k)=i)

    上式中表达出的‘无记忆’随机过程经常也被称为马尔科夫特性 ,如果对于所有k0的时间点,p(k)ij都有相同的pij(转移概率不会随着时间而改变),这个链达到了稳态(homogeneous),矩阵P=(pij)i,jΩ称为稳态马尔科夫链的转移矩阵。

    如果初始分布μ(0)(即X(0)的概率分布)是由概率向量μ(0)=(μ(0)(i))iΩ给出的,其中μ(0)(i)=Pr(X(0)=i),那么X(k)的分布μ(k)是由μ(k)T=μ(0)TPk给出的。

    对于πT=πTP中的π,则称为稳态分布,如果马尔科夫链在k时刻达到稳态分布μ(k)=π,那么所有的后续状态都是相同分布,也就是说对于所有的nN都有μ(k+n)=π。关于马尔科夫链的分布π为稳态分布的一个充分不必要条件是,对于转移概率pij,i,jΩi,jΩ都有

    π(i)pij=π(j)pji

    这就称为细致平稳条件(detailed balanced condition)

    对于马尔科夫链,存在唯一的一个稳态分布。这就是在有限状态空间Ω中,马尔科夫链不可约的案例。不可约的意思就是任何一个状态都能通过其它状态的有限次转移得到,公式表示就是,i,jΩk>0都有Pr(X(k)=j|X(0)=i)>0

    如果链上所有的状态都是无规律发生的,就称为非周期性。公式表示就是,对于iΩ,集合kN0|Pr(X(k)=i|X(0)=i)>0的所有元素的最大公约数是1。在有限状态空间中的,不可约,非周期性的马尔科夫链能够保证收敛到一个稳态分布。假设有限状态空间中有两个分布αβ,变量距离可以被定义为

    dV(α,β)=12|αβ|=12xΩ|α(x)β(x)|

    为了方便标记,我们让行和列的概率向量作为上式的函数自变量,这样我们就有如下定理

    假设π是有限状态空间中的,不可约非周期的马尔科夫链的稳态分布,转移概率矩阵为P,对于任意的初始分布μ都有

    >limkdV(μTPk,πT)=0>

    马尔科夫链蒙特卡洛方法,利用收敛定律,通过建立一个收敛到期望分布的马尔科夫链,然后从概率分布中生成样本。假设你想从具有有限状态空间的分布q中进行采样,随后就应该建立一个不可约、非周期的马尔科夫链,而且它的稳态分布π=q。这是一个非平凡问题(non-trivial task)。如果k足够大,那么从马尔科夫链中重构X(k)的状态x(k),就会逼近与π中的一个样本,也是q中的。吉布斯采样就是这样一种马尔科夫链蒙特卡洛MCMC方法。

    吉布斯采样

    吉布斯采样是一种简单的MCMC方法,从多元随机变量的联合概率分布中产生样本。最基本的想法就是,依据条件分布更新每一个变量,而条件分布的条件就是给定除此变量以外的其它变量的状态,如此构造一个马尔科夫链。随后我们将描述,如何从一个马尔科夫随机场MRF的吉布斯分布中,利用吉布斯采样生成(近似)样本。

    我们假设一个马尔科夫随机场为X=(X1,,XN),即一个无向图模型G=(V,E),其中V={1,,N}是为了做更清楚的标记。随机变量Xi,iV在有限集Λ中取值,并且π(x)=1Zeε(x)X的联合概率分布。此外,如果我们假设马尔科夫随机场随着时间改变状态,就可以将X={X(k)|kN0}当做从Ω=ΛN中取值的马尔科夫链。那么X(k)=(X(k)1,,X(k)N)就描述了一个马尔科夫随机场在时刻k0的状态。在接下来的两个后继时间节点中,链上新状态的产生都需要经过以下步骤

    1. 从概率q(i)中随机挑选一个变量Xi,iV,这里的概率q(i)是由V中的严格为正的概率分布q给出的。

    2. X(i)的新状态就是给定其它所有变量(Xv)vVi的状态(xv)vi,然后基于其条件概率分布采样得到的。依据条件随机场的局部马尔卡夫特性有π(xi|(xv)vVi)=π(xi|(xw)wi)。马尔科夫随机场的两个状态x,y,xy的转移概率pxy

      pxy={q(i)π(yi|(xv)vVi),0,if iVso that vVwith vi:xv=yv)else

      马尔科夫随机场x的状态保持一致的概率,即pxx=iVq(i)π(xi|(xv)vVi)

    吉布斯链的收敛:为了证明由这些转移概率定义的马尔科夫链(因而被称作吉布斯连),收敛到马尔科夫随机场的联合分布π,我们需要证明π是吉布斯链的稳态分布,而且这个链是不可约非周期的。

    从细致平稳条件中,很容易发现π是稳态分布:如果xy在多个随机变量数值上有差异,就遵循一个事实pxy=Pyx=0。假设xy仅仅在一个确定的变量Xi上的状态不同,比如当ji的时候yj=xjyixi ,那么

    π(x)pxy=π(x)q(i)π(yi|(xv)vVi)=π(xi,(xv)vVi)q(i)π(yi,(xv)vVi)π((xv)vVi)=π(yi,(xv)vVi)q(i)π(xi,(xv)vVi)π((xv)vVi)=π(y)q(i)π(xi|(xv)vVi)=π(y)pyx

    这样就满足了细致平稳条件,而且π就是平稳分布。

    因为π是严格为正的,因而是单一变量的条件概率分布。这就意味着,每个单一变量Xi在一个单一的转移步骤中,可以取每一个状态xiΛ,而且整个马尔科夫随机场中的每个状态都能经过有限步骤转移到ΛN的任何其它状态。因此马尔科夫链就是不可约的。此外,对于所有的xΛN,因为它还服从正的条件分布pxx>0,,所以这个马尔科夫链也是非周期的。不可约和非周期性就保证了链能够收敛到稳态分布π

    实际中,单个随机变量不是基于分布q随机选择更新的,而是有一个固定的预定义顺序。对应的算法经常依赖于周期吉布斯采样器periodic Gibbs sampler。如果P是吉布斯链的转移矩阵,周期吉布斯采样器到马尔科夫随机场的稳态分布的收敛率,其界限可以使用下列不等式定义:

    |μPkπ|12|μπ|(1eNΔ)k

    其中Δ=suplVδl,而且δl=sup{|ε(x)ε(y)|;xi=yi iV with il},其中μ是任意的起始分布,12|μπ|是变量距离。这里有一个符号叫做sup,表示数理统计中的格里文科(Gelivenko)定理

    吉布斯采样和梅特罗波利斯哈斯廷斯算法 吉布斯采样属于梅特罗波利斯哈斯廷斯采样算法的一个更广泛的类别。这一类中所有的MCMC算法都利用两个步骤生成马尔科夫链的转移:

    1. 随机挑选一个候选状态,称为提议分布proposal distribution
    2. 候选状态根据一个接受概率acceptance probability,转移到马尔科夫链上的一个新状态,保证细致平稳条件

    吉布斯采样的提议分布经常是翻转单个随机变量的当前状态,建议状态的接受概率就是一个条件概率,其条件就是给定的其它随机变量状态。

    从易辛模型Ising Model中采样时,采样的提议分布(翻转状态)结合了接受概率 min(1,π(x)π(x)),其中x代表当前状态,x代表马尔科夫链上的新状态。

    展开全文
  • 1马尔科夫链 在概率论里,弹硬币每次都是独立的,我上次弹是正面或反面完全对我下一次弹的结果没有任何影响。而世界上有很多事物前一次和后一次是有联系的,描述这种情况就可以利用马尔科夫链。 比如一台汽车的...

    1马尔科夫链

    在概率论里,弹硬币每次都是独立的,我上次弹是正面或反面完全对我下一次弹的结果没有任何影响。而世界上有很多事物前一次和后一次是有联系的,描述这种情况就可以利用马尔科夫链。

    比如一台汽车的速度是连续变化的,它下一秒的速度肯定和上一秒有关系,并且是一个概率关系。比如一台跑车V=100时下一秒速度是120的概率是百分之50,但是一台卡车相同情况下下一秒是120的概率却很小,卡车和跑车的速度就是两个马尔科夫链模型。他是连续变化的。

    所以马尔科夫链区别于独立抽样主要强调这个连续的关系。这里说的和前一秒有关系就是一阶的,和前2秒就是二阶的,以此类推。

     

    2 隐马尔科夫链

    参考http://blog.sina.com.cn/s/blog_953f8a550100zh35.html

    隐马尔科夫链与马尔科夫链不同的就是,比如每天的温度是马尔科夫链,但是我观测不到温度,我没有温度计,我只能观测路人的穿多穿少情况,这肯定是随机的,因为再冷也有可能有人穿的少,但是比例会少。比如0度随便找个路人穿丝袜的概率肯定低,那我就以不同温度是否穿丝袜为准得到一组观测数据来推测一年里每天的温度.........我还真觉得每次统计全中国的比例还真有可能通过这个信息推算出一年里365天温度的变化。

    展开全文
  • 马尔科夫链Matlab程序

    2018-09-25 17:22:18
    马尔科夫链matlab程序包。马尔科夫链定义本身比较简单,它假设某一时刻状态转移的概率只依赖于它的前一个状态。举个形象的比喻,假如每天的天气是一个状态的话,那个今天是不是晴天只依赖于昨天的天气,而和前天的...
  • 马尔科夫链蒙特卡洛方法的PPT很有用(含代码),很全面 有助于理解马尔科夫链蒙特卡洛方法MCMC(Markov Chain Monte Carlo)
  • 概率论 马尔科夫链 排队 模拟 2017版本 英文原版教材;概率论 马尔科夫链 排队 模拟 2017版本 英文原版教材
  • 马尔科夫链

    2019-11-29 20:49:07
    马尔科夫链回顾 马尔科夫链是以俄国数学家安德烈⋅\cdot⋅马尔科夫命名,以纪念其首次提出马尔可夫链和对其收敛性质所做的研究。马尔科夫链是指数学中具有马尔科夫性质的离散事件随机过程。在给定当前知识或信息的...

    马尔科夫链回顾

    马尔科夫链是以俄国数学家安德烈\cdot马尔科夫命名,以纪念其首次提出马尔可夫链和对其收敛性质所做的研究。马尔科夫链是指数学中具有马尔科夫性质的离散事件随机过程。在给定当前知识或信息的情况下,过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的,即过去与将来是独立的。

    每个状态的转移只依赖于之前的nn个状态,这个过程称为1个nn阶的模型,其中nn是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程,每个状态的转移只依赖于之前的那一个状态。用数学表达式表示就是下面这个式子:P(Xn+1=xX1=x1,X2=x2,...,Xn=xn)=P(Xn+1=xXn=xn)P(X_{n+1}=x|X_1=x_1,X_2=x_2,...,X_n=x_n)=P(X_{n+1}=x|X_n=x_n)

    用转移矩阵表示:P(k)=[p11kp12kp1nkp21kp22kp2nkpm1kpm2kpmnk]\mathtt{P^{(k)}}=\begin{bmatrix} p_{11}^k&p_{12}^k&\cdots&p_{1n}^k\\ p_{21}^k&p_{22}^k&\cdots&p_{2n}^k\\ \vdots&\vdots&\vdots&\vdots\\ p_{m1}^k&p_{m2}^k&\cdots&p_{mn}^k \end{bmatrix}
    其中pijp_{ij}就是根据上面那个公式计算出来的概率值。
    k=1k=1时为一步转移矩阵,当k>1k>1时有Pk=Pk1P\mathtt{P^k}=\mathtt{P^{k-1}}\mathtt{P}。经过多次迭代后,状态转移矩阵会趋于平衡,即当前时段和下一个时段的状态概率一定相同。

    但是这并不是一个完美的模型。因为前后关系的缺失,导致信息的缺失。

    比如我们的股市,如果只是观测市场,我们只知道当天的价格、成交量等信息,但是我们并不知道当前股市处于什么样的一个状态(牛市、熊市、震荡、反弹等等)。在这样的情况下,我们有两个集合,一个是可观测到的集合(股市价格成交量等信息),另一个是隐藏的状态集合(股市的状态)。

    在这样的情况下,可以观察到的状态序列和隐藏的状态序列是概率相关的。于是我们可以将这种类型的过程建模为有一个隐藏的马尔科夫过程和一个与这个隐藏马尔科夫过程概率相关的并且可以观察到的状态集合,这就是隐马尔科夫模型。

    隐马尔科夫链

    下面给出隐马尔科夫链的定义。摘抄自李航的统计学习方法

    隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态的序列,称为状态序列;每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可以看做是一个时刻。

    隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔科夫模型的形式定义如下:
    QQ是所有可能的状态的集合,VV是所有可能的观测的集合。Q=q1,q2,...,qNV=v1,v2,...,vMQ={q_1,q_2,...,q_N},V={v_1,v_2,...,v_M}其中,NN是可能的状态数,MM是可能的观测数。II是长度为TT的状态序列,OO是对应的观测序列。I=i1,i2,...,iTO=o1,o2,...,oTI={i_1,i_2,...,i_T},O={o_1,o_2,...,o_T}AA是状态转移概率矩阵:A=[aij]N×NA=[a_{ij}]_{N\times N}其中,aij=P(it+1=qjit=qi),i,j=1,2,...,Na_{ij}=P(i_{t+1}=q_j|i_{t}=q_i),i,j=1,2,...,N是在时刻tt处于状态qiq_i的条件下在时刻t+1t+1转移到状态qjq_j的概率。
    BB是观测概率矩阵:B=[bj(k)]N×MB=[b_j(k)]_{N\times M}其中,bj(k)=P(ot=vkit=qj),k=1,2,...,M;j=1,2,...,Nb_j(k)=P(o_t=v_k|i_t=q_j), k=1,2,...,M;j=1,2,...,N是时刻tt处于状态qiq_i的条件下生成观测vkv_k的概率。
    π\pi是初始状态概率向量:π=(πi)\pi=(\pi_i)其中,πi=P(i1=qi),i=1,2,...,N\pi_i=P(i_1=q_i),i=1,2,...,N是时刻t=1t=1处于状态qiq_i的概率。
    隐马尔科夫模型由初始状态概率向量π\pi、状态转移概率矩阵AA以及观测概率矩阵BB决定。π\piAA决定状态序列,BB决定观测序列。因此,隐马尔科夫模型λ\lambda可用三元符号表示,即λ=(A,B,π)\lambda=(A,B,\pi)AABBπ\pi称为隐马尔科夫模型的三要素。
    状态转移概率矩阵AA与初始状态概率向量π\pi确定了隐藏的马尔科夫链,生成不可观测的状态序列。观测概率矩阵BB确定了如何从状态生成观测,与状态序列综合确定了如何产生观测序列。

    简单总结一下,隐马尔科夫模型是用来描述一个含有隐含未知参数的马尔科夫过程。其难点在于从可观察的参数中确定该过程的隐含参数。

    简单例子

    假设我手中有三个骰子,第一个骰子是常见的骰子(D6),6个面,每个面(1,2,3,4,5,6)出现的概率都是16\frac{1}{6};第二个骰子是个四面体(D4),4个面,每个面(1,2,3,4)出现的概率都是14\frac{1}{4};第三个骰子有八个面,每个面(1,2,3,4,5,6,7,8)出现的概率都是18\frac{1}{8}在这里插入图片描述
    假设我们开始掷骰子,我们先从D6、D4、D8之间选择一个,每一个骰子被挑到的概率都是13\frac{1}{3}。然后我们掷骰子,得到一个数字,1,2,3,4,5,6,7,8中的一个。不停地重复,我们会得到一串数字,每个数字都是1~8中的一个。例如我们可能得到这么一串数字(掷骰子10次):1,6,3,5,2,7,3,5,2,4。

    这串数字叫做可见状态链。但是在隐马尔科夫模型中,我们不仅仅有这么一串可见状态链,还有一串隐含状态链。在这个例子里,隐含状态链就是用骰子的先后序列。比如可以是:D6,D8,D8,D6,D4,D8,D6,D6,D4,D8。

    一般来讲,隐马尔科夫链中说到的马尔科夫链其实是指隐含状态链,因为隐含状态(骰子)之间存在转换概率。在这个例子里,D6下面一个状态是D6、D4、D8的概率都是13\frac{1}{3},同样对于D4和D8也是一样。

    隐马尔科夫模型示意图:在这里插入图片描述
    隐含状态转换示意图:在这里插入图片描述
    我们其实可以随意设定转换概率。比方说,D6后面是D6的概率是0.9,是D8的概率是0.1,但是D6后面不能出现D4,所以D6后面是D4的概率是0。

    同样的,尽管可见状态之间没有转换概率,但是隐含状态和可见状态之间有一个概率叫输出概率。比如说在我们这个例子,D6产生1的输出概率是16\frac{1}{6},同样产生2,3,4,5,6的输出概率也是16\frac{1}{6}。我们同样可以人为定义输出概率,比如D6被人动过手脚,输出1的概率比较大是12\frac{1}{2},输出其他数字的概率是110\frac{1}{10}

    我们可以模拟一下这个过程。假设PP是D6、D4、D8之间转换的转换概率矩阵,Qi(i=6,4,8)Q_i(i=6,4,8)表示D6、D4、D8输出(1,2,3,4,5,6,7,8)(1,2,3,4,5,6,7,8)的概率矩阵。现在有一个初始状态π=[1,0,0]\pi=[1,0,0]π\pi的列标签是按照D6、D4、D8这个顺序来的),表示初始状态拿出的骰子是D6,则最终输出(1,2,3,4,5,6,7,8)(1,2,3,4,5,6,7,8)的概率矩阵XX应该等于:X=π(PQ)(PQ)X=\pi (PQ)(PQ)\cdots这样就模拟出了整个掷骰子的过程。

    但是在实际过程中,并不会这么简单,有可能不知道骰子的数目,或者这些骰子之间转换的概率,又或者这些骰子输出这些数字的概率是多少。比如在上面提到的股市,我们知道当天的价格成交量等信息,但是我们不知道当前股市处于什么样的一个状态。这就是一个典型的已知可见状态,未知隐含状态的问题。

    隐马尔科夫链的三大问题

    (1)已知观测序列O=o1,o2,...,oTO={o_1,o_2,...,o_T}和模型λ=(A,B,π)\lambda=(A,B,\pi),计算在该模型λ\lambda下观测序列OO出现的概率P(Oλ)P(O|\lambda)

    这是一个验证问题,就是说我们已经知道模型是什么样的,我们把观测数据给验证一下是否符合这个模型。

    (2)已知观测序列O=o1,o2,...,oTO={o_1,o_2,...,o_T}和模型λ=(A,B,π)\lambda=(A,B,\pi),求给定观测序列条件概率P(Iλ)P(I|\lambda)最大的状态序列I=i1,i2,...,iTI={i_1,i_2,...,i_T}。即给定观测序列,求最有可能的对应的状态序列。

    这是一个识别问题,我们从能观测的点识别出隐藏的状态,就是找到能够得到观测序列OO的最优隐藏状态序列,即最优路径。

    (3)已知观测序列O=o1,o2,...,oTO={o_1,o_2,...,o_T},估计模型λ=(A,B,π)\lambda=(A,B,\pi)的参数,使得在该模型下观测序列概率P(Oλ)P(O|\lambda)最大。

    这是一个训练学习的问题,就是说我们已经知道最终的结果是什么,但是我们不知道模型的参数,通过训练学习的方式,找到模型的参数最优解,使得观测序列概率P(Oλ)P(O|\lambda)最大。

    三大问题的英文描述:
    在这里插入图片描述

    关于解决这三大问题的方法,这里挖个坑,等之后有机会在回来填。

    展开全文
  • 马尔科夫链模型.pdf

    2019-06-08 10:18:27
    马尔科夫链模型的PPT文档,浙江大学
  • 马尔科夫链相关资料

    2018-06-21 17:33:05
    资料里包括了很多关于马尔科夫链的资料,有相关的PPT、Word以及代码等,适合初学者的学习

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,781
精华内容 712
关键字:

马尔科夫链