精华内容
下载资源
问答
  • 马尔科夫

    2021-02-20 19:13:52
    马尔科夫过程 一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态,这个过程被称为1个 n阶的模型,其中 n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程,每一个状态的转移只依赖于其...

    马尔科夫过程

    一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态,这个过程被称为1个 n阶的模型,其中 n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程,每一个状态的转移只依赖于其之前的那一个状态。

    一阶马尔科夫过程定义了以下三个部分:
    状态:晴天、阴天和下雨
    初始向量:定义系统在时间为0的时候的状态的概率
    状态转移矩阵:每种天气转换的概率
    所有的能被这样描述的系统都是一个马尔科夫过程。

    马尔科夫链

    时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为Xn=X(n),n=0,1,2…
    马尔可夫链是满足马尔可夫性质的随机过程。
    马尔可夫链就是这样一个任性的过程,它将来的状态分布只取决于现在,跟过去无关!
    在这里插入图片描述

    马尔科夫假设

    假设这个模型的每个状态都只依赖于之前的状态,这个假设被称为马尔科夫假设,这个假设可以大大的简化这个问题。显然,这个假设可能是一个非常糟糕的假设,导致很多重要的信息都丢失了。

    马尔科夫模型

    马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法等各个自然语言处理等应用领域。

    隐马尔可夫模型

    隐马尔可夫模型 (Hidden Markov Model) 是一种统计模型,用来描述一个含有隐含未知参数的马尔可夫过程。它是结构最简单的动态贝叶斯网,这是一种著名的有向图模型,主要用于时序数据建模,在语音识别、自然语言处理等领域有广泛应用。

    展开全文
  • 马尔科夫

    2018-09-26 16:32:44
    马尔科夫
  • 马尔科夫决策过程是强化学习中的一个基本框架,用来表示agent与环境的交互过程:agent观测得到环境的当前状态之后,采取动作,环境进入下一个状态,agent又得到下一个环境状态的信息,形成一个循环回路。 在理解...

    在这里插入图片描述
    马尔科夫决策过程是强化学习中的一个基本框架,用来表示agent与环境的交互过程:agent观测得到环境的当前状态之后,采取动作,环境进入下一个状态,agent又得到下一个环境状态的信息,形成一个循环回路。
    在理解马尔科夫决策过程之前,首先要理解马尔科夫、马尔科夫奖励过程。

    1. 马尔科夫过程

    满足马尔科夫性质的状态转换过程是马尔科夫过程;
    什么是马尔科夫性质呢?
    在环境状态的转换过程中,环境的下一个状态只取决于当前状态,和历史状态无关,即满足马尔科夫性质。
    在这里插入图片描述

    2. 马尔科夫奖励过程

    (1)马尔科夫链可以通过转移图转移矩阵这两种形式表示:
    转移图
    在这里插入图片描述
    转移矩阵
    在这里插入图片描述
    (2) 马尔科夫奖励过程:马尔科夫链加上奖励函数(价值函数)
    (3) 马尔科夫奖励过程需要重点研究的是如何求解状态空间里每个状态的奖励函数
    奖励: 马尔科夫奖励过程中,每次到达一个过程,会得到一个奖励,这个奖励是已知的。
    Return(回报)? 当前状态之后的未来状态获取奖励(乘上折扣率)的累加值。这里计算的是一个特定的轨迹的Return
    在这里插入图片描述
    奖励函数:某个状态的奖励函数得到的是该状态的价值:Return的期望
    在这里插入图片描述
    问题:每个状态都有一个特定奖励函数吗?奖励函数的值等于价值,每个状态都有一个价值
    Bellman Equation(贝尔曼等式):奖励函数的另一种计算方法
    在这里插入图片描述求解奖励函数方法1:动态规划的方法(基于贝尔曼等式)
    在这里插入图片描述
    求解奖励函数方法2:蒙特卡罗(Monte Carlo)方法(基于采样求return期望)
    具体地,例如:以状态S1为起始状态,可能接下来的状态转换轨迹是(S3、S4、S6),也可能是(S2、S3、S5)等等,总之可以通过产生大量的轨迹,每个轨迹都会得到一个 return,然后直接取一个平均,那么就可以等价于现在S1的价值。
    在这里插入图片描述

    3. 马尔科夫决策过程

    在马尔科夫奖励过程中加入动作和策略,即是马尔科夫决策过程,策略是当前状态下采取某动作的概率。
    在这里插入图片描述
    状态价值函数:和马尔科夫奖励过程的价值函数类似
    在这里插入图片描述
    Q函数-动作价值函数:某一个状态采取某一个动作,得到一个return的期望
    在这里插入图片描述
    状态价值函数(价值函数)与动作价值函数的关系:对 Q 函数中的动作函数进行加和,就可以得到价值函数(状态价值函数)
    在这里插入图片描述
    状态价值函数的贝尔曼等式
    在这里插入图片描述
    动作价值函数的贝尔曼等式
    在这里插入图片描述

    展开全文
  • 马尔科夫资料

    2014-04-19 12:44:40
    马尔科夫资料
  • 马尔科夫问题

    2015-10-08 22:20:44
    马尔科夫问题的Matlab实现,一个很好的例子,方便理解马尔科夫问题。
  • 马尔科夫模型系列文章(一)——马尔科夫模型

    万次阅读 多人点赞 2019-08-28 15:03:09
    前言:我发现网上很多博客在讲马尔科夫相关的知识点的时候, 总是讲的不是很清楚,有的纯粹只关注理论,看不太懂,有的一上来就搞几个算例,更是一片懵逼,有的又将一些概念一会儿换一个说法,一会儿是马尔科夫过程...

    前言:我发现网上很多博客在讲马尔科夫相关的知识点的时候, 总是讲的不是很清楚,有的纯粹只关注理论,看不太懂,有的一上来就搞几个算例,更是一片懵逼,有的又将一些概念一会儿换一个说法,一会儿是马尔科夫过程,一会儿是马尔科夫模型,一会儿是马尔科夫链,傻傻分不清楚,也不好理解,决定自己抽点时间,好好写一下,会详细介绍马尔科夫模型、马尔科夫链、隐马尔可夫模型、条件随机场等相关的概念和案例,本文为第一篇。文中的理解方式是按照自己的理解方式来叙述的,不适合于每个人。

    一、马尔科夫模型

    1.1 马尔可夫过程

           马尔可夫过程(Markov process)是一类随机过程。由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性:在已知目前状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变 (过去 )。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程。(这里虽然我也不清楚这些现象到底是不是,姑且就认为是吧!

    马尔科夫过程中最核心的几个概念:过去,现在,将来。其中最核心的在于“现在”如何理解。

    在马尔可夫性的定义中,"现在"是指固定的时刻,但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时(见随机过程)。例如考察从圆心出发的平面上的布朗运动,如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”,在已知“现在”的条件下,“将来”与“过去”无关,这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内,不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年,才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可夫过程真正研究的对象。

    这段话实在是太过于抽象了,不好理解,心里有数就行,因为这里的过去、现在、将来和我们生活中是有所差别的,不太好理解!

    所以:一个马尔科夫过程就是指过程中的每个状态的转移只依赖于之前的 n个状态,这个过程被称为 n阶马尔科夫模型,其中 n是影响转移状态的数目。最简单的马尔科夫过程就是一阶过程,每一个状态的转移只依赖于其之前的那一个状态,这也是后面很多模型的讨论基础,很多时候马尔科夫链、隐马尔可夫模型都是只讨论一阶模型,甚至很多文章就将一阶模型称之为马尔科夫模型,现在我们知道一阶只是一种特例而已了

    对于一阶马尔科夫模型,则有:

    如果第 i 时刻上的取值依赖于且仅依赖于第 i−1 时刻的取值,即


    ​ 从这个式子可以看出,xi 仅仅与 xi-1有关,二跟他前面的都没有关系了,这就是一阶过程。
    ​ 

    总结:马尔科夫过程指的是一个状态不断演变的过程,对其进行建模后称之为马尔科夫模型,在一定程度上,马尔科夫过程和马尔科夫链可以打等号的。

    1.2 马尔科夫性(无后效型)

    在马尔科夫过程中,在给定当前知识或信息的情况下,过去(即当前以前的历史状态)对于预测将来(即当前以后的未来状态)是无关的。这种性质叫做无后效性。简单地说就是将来与过去无关,值与现在有关,不断向前形成这样一个过程。

    1.3 马尔可夫链

    时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为Xn=X(n),n=0,1,2…马尔可夫链是随机变量X1,X2,X3…的一个数列。

    这种离散的情况其实草是我们所讨论的重点,很多时候我们就直接说这样的离散情况就是一个马尔科夫模型。

    (1)关键概念——状态空间

    马尔可夫链是随机变量X1,X2,X3…Xn所组成的一个数列,每一个变量Xi 都有几种不同的可能取值,即他们所有可能取值的集合,被称为“状态空间”,而Xn的值则是在时间n的状态。

    (2)关键概念——转移概率(Transition Probability)

    马尔可夫链可以用条件概率模型来描述。我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率。

    上面是一个条件概率,表示在前一个状态为s的条件下,当前状态为t的概率是多少。

    (3)关键概念——转移概率矩阵

    很明显,由于在每一个不同的时刻状态不止一种,所以由前一个时刻的状态转移到当前的某一个状态有几种情况,那么所有的条件概率会组成一个矩阵,这个矩阵就称之为“转移概率矩阵”。比如每一个时刻的状态有n中,前一时刻的每一种状态都有可能转移到当前时刻的任意一种状态,所以一共有n*n种情况,组织成一个矩阵形式如下:

    1.4 马尔可夫模型的应用

          马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法、序列分类等各个自然语言处理等应用领域。经过长期发展,尤其是在语音识别中的成功应用,使它成为一种通用的统计工具。到目前为止,它一直被认为是实现快速精确的语音识别系统的最成功的方法之一。

    二、马尔科夫模型的案例之一——天气预报

    下面是一个马尔科夫模型在天气预测方面的简单例子。如果第一天是雨天,第二天还是雨天的概率是0.8,是晴天的概率是0.2;如果第一天是晴天,第二天还是晴天的概率是0.6,是雨天的概率是0.4。问:如果第一天下雨了,第二天仍然是雨天的概率是多少?,第十天是晴天的概率是多少?;经过很长一段时间后雨天、晴天的概率分别是多少?

    首先构建转移概率矩阵,由于这里每一天的状态就是晴天或者是下雨两种情况,所以矩阵是2x2的,如下:

    雨天 晴天  
    0.8 0.4 雨天
    0.2 0.6 晴天

    注意:每列和为1,分别对雨天、晴天,这样构建出来的就是转移概率矩阵了。如下:

    假设初始状态第一天是雨天,我们记为

    这里【1,0】分别对于雨天,晴天。

    初始条件:第一天是雨天,第二天仍然是雨天(记为P1)的概率为:

    P1 = AxP0

    得到P1 = 【0.8,0.2】,正好满足雨天~雨天概率为0.8,当然这根据所给条件就是这样。

    下面计算第十天(记为P9)是晴天概率:

    得到,第十天为雨天概率为0.6668,为晴天的概率为0.3332。

    下面计算经过很长一段时间后雨天、晴天的概率,显然就是下面的递推公式了:

    2.2 递推公式的改进 

    虽然上面构造了一个递推公式,但是直接计算矩阵A的n次方是很难计算的,我们将A进行特征分解(谱分解)一下,得到:

     

    现在递推公式变成了下面的样子:

     

    显然,当n趋于无穷即很长一段时间以后,Pn = 【0.67,0.33】。即雨天概率为0.67,晴天概率为0.33。并且,我们发现:初始状态如果是P0 =【0,1】,最后结果仍然是Pn = 【0.67,0.33】。这表明,马尔科夫过程与初始状态无关,跟转移矩阵有关

     

    三、再看一个例子——DAN的CPG岛

    为什么还要看这个例子,因为在上面的天气预报我们是直接给出了概率转移矩阵,但是在实际应用中这个概率转移事先是不知道的,那该怎么办呢?需要自己去做统计才能得到

    问题描述:基因组上CpG相对富集的区域被称作CpG岛,接下来我们要从给定的一定DNA序列,判断它是否来自CpG岛,这属于一个两分类问题。——这属于一个序列分类问题。

    DNA序列每个位置上的核苷酸都可以被当作一个有四种可能取值的离散随机变量x={A,T,G,C} 。
    在上述问题中我们要考虑连续位置上出现的CpG双核苷酸,可以用马尔科夫模型来表示这种相邻位置之间的依赖关系。如果第

    i 时刻上的取值依赖于且仅依赖于第i−1时刻的取值,即

    则我们把这个串称作一个一阶马尔科夫链(模型)。
     

    对于DNA序列来说,每一位置的取值有四种,我们把它们称作四种状态,转移概率就是一个4∗4 的矩阵,称作转移概率矩阵或状态转移矩阵,如下图。

    如果知道两类(CpG岛与非CpG岛)的状态转移矩阵,那么对于一个序列样本,我们就可以用上述公式分别计算每一类模型下观察到该特定序列的可能性或似然度 ,用同样的类别似然比(或对数似然比)来进行类别判断。

    3.1 关键问题——状态转移矩阵的确定

    那么怎样去确定马尔科夫状态转移矩阵(离散概率模型)呢?

    首先收集充分的、有代表性的一些CpG岛序列的片段和一些非CpG岛序列的片段,用它们构成两类训练样本。在每一类样本中,统计在所有位置上出现A、T、C、G的次数,再统计在每个A、T、C、G后面出现A、T、C、G次数,然后用下面两个公式来统计概率:

    加号表示的是正样本,减号表示的是负样本。得到如下的转移矩阵:

    对于任意一段待判别的DNA序列,可以根据状态转移矩阵计算它属于CpG岛的似然比,再通过与一定的阈值比较进行判别。大于阈值的为正样本,否则为负样本,计算过程就与上面类似了,建立递推关系。

     

    四、马尔科夫模型与时间序列的关系与区别

    乍一看,马尔科夫模型与时间序列是有一定的关系,有时候甚至有人说马尔科夫过程的状态序列就是一个时间序列,的确,从时间的推移角度来说,这么说好像没很么问题,但是它们之间还是有很多区别的,个人总结以下几点:

    (1)马尔科夫模型是概率模型。每一个时间点的观测值体现为状态值,所谓状态值就是某一个类别的概率,这跟时间序列显然不一样;

    (2)马尔科夫模型当前状态与之前状态的关系是通过转移概率、转移概率矩阵来决定的,这也是和时间序列不一样的地方。

    展开全文
  • 马尔科夫

    2013-05-21 08:40:24
    马尔科夫
  • 马尔科夫模型简介

    2018-09-26 16:51:26
    马尔科夫模型简介
  • 马尔科夫相关

    2013-12-15 14:56:04
    马尔科夫决策,马尔科夫随机场,图像处理方面可以用
  • 首先将其基本的概率进行讲解:马尔科夫性质(Markov property):简单的说,就是当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态。换句话说,在给定现在状态时,它与...

    首先将其基本的概率进行讲解:

    马尔科夫性质(Markov property):简单的说,就是当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态。换句话说,在给定现在状态时,它与过去状态(即该过程的历史路径)是条件独立的(也就是没有任何的关系),那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。


    马尔可夫链(Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain,缩写为DTMC),为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。也就是马尔可夫性质。在马尔可夫链的每一步,系统根据概率分布,可以从一个状态变到另一个状态,也可以保持当前状态。状态的改变叫做转移,与不同的状态改变相关的概率叫做转移概率。


    隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步的分析。在正常的马尔可夫模型中,状态对于观察者来说是直接可见的。这样状态的转移概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的,但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。


    其使用主要三个种类:

    预测(filter):已知模型参数和某一特定输出序列,求最后时刻各个隐含状态的概率分布。

    平滑(smoothing):已知模型参数和某一特定输出序列,求中间时刻各个隐含状态的概率分布. 通常使用forward-backward 算法解决。

    解码(most likely explanation): 已知模型参数,寻找最可能的能产生某一特定输出序列的隐含状态的序列, 通常使用Viterbi算法解决。

    三类的具体实际例子在这个地址里面有讲解:https://www.cnblogs.com/skyme/p/4651331.html

    马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性,与上面不同的是MDP考虑了动作,即系统下个状态不仅和当前的状态有关,也和当前采取的动作有关。举下棋的例子,当我们在某个局面(状态s)走了一步(动作a),这时对手的选择(导致下个状态s’)我们是不能确定的,但是他的选择只和s和a有关,而不用考虑更早之前的状态和动作,即s’是根据s和a随机生成的。
    ---------------------  
    作者:Cute_zhugoing  
    来源:CSDN  
    原文:https://blog.csdn.net/Cute_zhugoing/article/details/79747992  
    版权声明:本文为博主原创文章,转载请附上博文链接!

    转载于:https://www.cnblogs.com/fengff/p/10137131.html

    展开全文
  • 马尔科夫预测

    2014-08-28 16:10:35
    matlab代码,简单实例子,可以简单了解马尔科夫
  • 马尔科夫过程

    2012-01-10 12:33:42
    数模 马尔科夫
  • 马尔科夫链代码,关于matlab隐马尔科夫模型工具箱的
  • 马尔科夫模型

    2012-09-29 14:31:05
    马尔科夫模型实例讲解,对马尔科夫的定义做了详细讲解,并配以实例!
  • 马尔科夫诊断

    2014-04-24 11:04:37
    马尔科夫参数的容错控制系统中系_省略_噪声与故障诊断检测延迟时间的关系
  • 马尔科夫性质:当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态,此性质即为马尔科夫性质。 马尔科夫过程:具有马尔可夫性质的随机过程称之为马尔可夫过程。 ...
  • 随机马尔科夫

    2013-07-30 14:14:44
    对于马尔科夫链的描述,基本要求和相关的研究叙述

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,838
精华内容 2,335
关键字:

马尔科夫