精华内容
下载资源
问答
  • CRF条件随机场简单解释

    万次阅读 多人点赞 2017-10-16 17:27:55
    理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,我翻译了这篇文章。希望对其他伙伴有所帮助。 原文在这里...

    转自:http://www.jianshu.com/p/55755fc649b1

    理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,我翻译了这篇文章。希望对其他伙伴有所帮助。
    原文在这里[http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/]

    想直接看英文的朋友可以直接点进去了。我在翻译时并没有拘泥于原文,许多地方都加入了自己的理解,用学术点的话说就是意译。(画外音:装什么装,快点开始吧。)好的,下面开始翻译!

    假设你有许多小明同学一天内不同时段的照片,从小明提裤子起床到脱裤子睡觉各个时间段都有(小明是照片控!)。现在的任务是对这些照片进行分类。比如有的照片是吃饭,那就给它打上吃饭的标签;有的照片是跑步时拍的,那就打上跑步的标签;有的照片是开会时拍的,那就打上开会的标签。问题来了,你准备怎么干?

    一个简单直观的办法就是,不管这些照片之间的时间顺序,想办法训练出一个多元分类器。就是用一些打好标签的照片作为训练数据,训练出一个模型,直接根据照片的特征来分类。例如,如果照片是早上6:00拍的,且画面是黑暗的,那就给它打上睡觉的标签;如果照片上有车,那就给它打上开车的标签。

    这样可行吗?

    乍一看可以!但实际上,由于我们忽略了这些照片之间的时间顺序这一重要信息,我们的分类器会有缺陷的。举个例子,假如有一张小明闭着嘴的照片,怎么分类?显然难以直接判断,需要参考闭嘴之前的照片,如果之前的照片显示小明在吃饭,那这个闭嘴的照片很可能是小明在咀嚼食物准备下咽,可以给它打上吃饭的标签;如果之前的照片显示小明在唱歌,那这个闭嘴的照片很可能是小明唱歌瞬间的抓拍,可以给它打上唱歌的标签。

    所以,为了让我们的分类器能够有更好的表现,在为一张照片分类时,我们必须将与它相邻的照片的标签信息考虑进来。这——就是条件随机场(CRF)大显身手的地方!

    从例子说起——词性标注问题

    啥是词性标注问题?

    非常简单的,就是给一个句子中的每个单词注明词性。比如这句话:“Bob drank coffee at Starbucks”,注明每个单词的词性后是这样的:“Bob (名词) drank(动词) coffee(名词) at(介词) Starbucks(名词)”。

    下面,就用条件随机场来解决这个问题。

    以上面的话为例,有5个单词,我们将:(名词,动词,名词,介词,名词)作为一个标注序列,称为l,可选的标注序列有很多种,比如l还可以是这样:(名词,动词,动词,介词,名词),我们要在这么多的可选标注序列中,挑选出一个最靠谱的作为我们对这句话的标注。

    怎么判断一个标注序列靠谱不靠谱呢?

    就我们上面展示的两个标注序列来说,第二个显然不如第一个靠谱,因为它把第二、第三个单词都标注成了动词,动词后面接动词,这在一个句子中通常是说不通的。

    假如我们给每一个标注序列打分,打分越高代表这个标注序列越靠谱,我们至少可以说,凡是标注中出现了动词后面还是动词的标注序列,要给它负分!!

    上面所说的动词后面还是动词就是一个特征函数,我们可以定义一个特征函数集合,用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列。也就是说,每一个特征函数都可以用来为一个标注序列评分,把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值。

    定义CRF中的特征函数

    现在,我们正式地定义一下什么是CRF中的特征函数,所谓特征函数,就是这样的函数,它接受四个参数:

    • 句子s(就是我们要标注词性的句子)
    • i,用来表示句子s中第i个单词
    • l_i,表示要评分的标注序列给第i个单词标注的词性
    • l_i-1,表示要评分的标注序列给第i-1个单词标注的词性

    它的输出值是0或者1,0表示要评分的标注序列不符合这个特征,1表示要评分的标注序列符合这个特征。

    Note:这里,我们的特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判,这样建立的CRF也叫作线性链CRF,这是CRF中的一种简单情况。为简单起见,本文中我们仅考虑线性链CRF。

    从特征函数到概率

    定义好一组特征函数后,我们要给每个特征函数f_j赋予一个权重λ_j。现在,只要有一个句子s,有一个标注序列l,我们就可以利用前面定义的特征函数集来对l评分。


    pic1.PNG

    上式中有两个求和,外面的求和用来求每一个特征函数f_j评分值的和,里面的求和用来求句子中每个位置的单词的的特征值的和。

    对这个分数进行指数化和标准化,我们就可以得到标注序列l的概率值p(l|s),如下所示:


    pic2.PNG

    几个特征函数的例子

    前面我们已经举过特征函数的例子,下面我们再看几个具体的例子,帮助增强大家的感性认识。


    pic3.PNG

    当l_i是“副词”并且第i个单词以“ly”结尾时,我们就让f1 = 1,其他情况f1为0。不难想到,f1特征函数的权重λ1应当是正的。而且λ1越大,表示我们越倾向于采用那些把以“ly”结尾的单词标注为“副词”的标注序列


    pic4.PNG

    如果i=1,l_i=动词,并且句子s是以“?”结尾时,f2=1,其他情况f2=0。同样,λ2应当是正的,并且λ2越大,表示我们越倾向于采用那些把问句的第一个单词标注为“动词”的标注序列。


    pic5.PNG

    当l_i-1是介词,l_i是名词时,f3 = 1,其他情况f3=0。λ3也应当是正的,并且λ3越大,说明我们越认为介词后面应当跟一个名词。


    pic6.PNG

    如果l_i和l_i-1都是介词,那么f4等于1,其他情况f4=0。这里,我们应当可以想到λ4是负的,并且λ4的绝对值越大,表示我们越不认可介词后面还是介词的标注序列。

    好了,一个条件随机场就这样建立起来了,让我们总结一下:
    为了建一个条件随机场,我们首先要定义一个特征函数集,每个特征函数都以整个句子s,当前位置i,位置i和i-1的标签为输入。然后为每一个特征函数赋予一个权重,然后针对每一个标注序列l,对所有的特征函数加权求和,必要的话,可以把求和的值转化为一个概率值。

    CRF与逻辑回归的比较

    观察公式:


    是不是有点逻辑回归的味道?
    事实上,条件随机场是逻辑回归的序列化版本。逻辑回归是用于分类的对数线性模型,条件随机场是用于序列化标注的对数线性模型。

    CRF与HMM的比较

    对于词性标注问题,HMM模型也可以解决。HMM的思路是用生成办法,就是说,在已知要标注的句子s的情况下,去判断生成标注序列l的概率,如下所示:


    pic7.PNG


    这里:
    p(l_i|l_i-1)是转移概率,比如,l_i-1是介词,l_i是名词,此时的p表示介词后面的词是名词的概率。
    p(w_i|l_i)表示发射概率(emission probability),比如l_i是名词,w_i是单词“ball”,此时的p表示在是名词的状态下,是单词“ball”的概率。

    那么,HMM和CRF怎么比较呢?
    答案是:CRF比HMM要强大的多,它可以解决所有HMM能够解决的问题,并且还可以解决许多HMM解决不了的问题。事实上,我们可以对上面的HMM模型取对数,就变成下面这样:


    pic8.PNG

    我们把这个式子与CRF的式子进行比较:


    pic1.PNG

    不难发现,如果我们把第一个HMM式子中的log形式的概率看做是第二个CRF式子中的特征函数的权重的话,我们会发现,CRF和HMM具有相同的形式。

    换句话说,我们可以构造一个CRF,使它与HMM的对数形式相同。怎么构造呢?

    对于HMM中的每一个转移概率p(l_i=y|l_i-1=x),我们可以定义这样的一个特征函数:


    pic9.PNG


    该特征函数仅当l_i = y,l_i-1=x时才等于1。这个特征函数的权重如下:


    pic10.PNG

    同样的,对于HMM中的每一个发射概率,我们也都可以定义相应的特征函数,并让该特征函数的权重等于HMM中的log形式的发射概率。

    用这些形式的特征函数和相应的权重计算出来的p(l|s)和对数形式的HMM模型几乎是一样的!

    用一句话来说明HMM和CRF的关系就是这样:
    每一个HMM模型都等价于某个CRF
    每一个HMM模型都等价于某个CRF
    每一个HMM模型都等价于某个CRF

    但是,CRF要比HMM更加强大,原因主要有两点:

    • CRF可以定义数量更多,种类更丰富的特征函数。HMM模型具有天然具有局部性,就是说,在HMM模型中,当前的单词只依赖于当前的标签,当前的标签只依赖于前一个标签。这样的局部性限制了HMM只能定义相应类型的特征函数,我们在上面也看到了。但是CRF却可以着眼于整个句子s定义更具有全局性的特征函数,如这个特征函数:


      pic4.PNG


      如果i=1,l_i=动词,并且句子s是以“?”结尾时,f2=1,其他情况f2=0。

    • CRF可以使用任意的权重 将对数HMM模型看做CRF时,特征函数的权重由于是log形式的概率,所以都是小于等于0的,而且概率还要满足相应的限制,如


      pic11.PNG


      但在CRF中,每个特征函数的权重可以是任意值,没有这些限制



    作者:milter
    链接:http://www.jianshu.com/p/55755fc649b1
    來源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
    展开全文
  • 条件随机场

    2018-12-04 10:51:33
    如何用简单易懂的例子解释条件随机场(CRF)模型? 理论上学习条件随机场 条件随机场-李航《统计学习分析第11章》 看下上面的博客,单纯的对于条件随机场就会有一个初步的认识,但是要真正的将条件随机场和其他的...

    感性的理解条件随机场

    中文:如何轻松愉快地理解条件随机场(CRF)?

    英文原文:Introduction to Conditional Random Fields

    如何用简单易懂的例子解释条件随机场(CRF)模型?

    理论上学习条件随机场
    条件随机场-李航《统计学习分析第11章》

    看下上面的博客,单纯的对于条件随机场就会有一个初步的认识,但是要真正的将条件随机场和其他的相关算法进行一个深入的比较,以及将其应用到具体的项目中,还需要做大量的学习工作!

    条件随机场学习的结束,也算完成了在12月左右对于基本的机器学习算法有个初步尽量深入的学习,在后面的学习中和使用中,不断回顾,争取做到深刻的理解!

    展开全文
  • CRF是一种判别模型,本质是给定观察值集合的马尔科夫随机场(MRF),而MRF是加了马尔科夫性质限制的随机场。 马尔科夫性质:全局。局部。成对 随机场:看做一组随机变量的集合(对应于同一个样本空间),这些...

    CRF是一种判别模型,本质是给定观察值集合的马尔科夫随机场(MRF),而MRF是加了马尔科夫性质限制的随机场。

     

    马尔科夫性质:全局。局部。成对

     

    随机场:看做一组随机变量的集合(对应于同一个样本空间),这些随机变量之间可能存在依赖关系,而只有存在依赖关系,我们建立随机场才有意义。

     

    在CV中的解释

        主要针对图像

      对于每个像素i具有类别标签y(其对应的观测值为xi)。每个像素作为节点,像素与像素之间的关系作为边,即构成了一个条件随机场CRF。

    这里的xi 可以理解为一张图像的某个像素特征。而CRF就是通过观测变量xi 来预测像素i 对应的类别标签y

            p(预测标签 | 图像) = p( y | x ) 

                                     

    我们通过观测变量来推测像素i对应的类别标签。

     

    • 假如图片尺寸为40*144,那么就有40*144个像素。
    • 计算节点和边:节点 40*144=5760    
        •   边  :n(n-1)/2,n=5760,所以是节点的平方倍。 这是一个很大很大的数字(如果图片尺寸很大(分辨率很高)的话,那这个数字会更大
    • 类别标签为0-31,共32个类,对应的观测值取(0-31)这32个数字。

     为什么需要CRF:

      CNN模型虽然很强大,但是CNN模型缺少一个关键点,就是每一个像素点类别之间实际上存在着一定关系,也就是我们常说的图像的平滑性——每一个图像像素点的类别都有可能和临近点的类别相近,这个特性是CNN模型所不具有的。

     

      

    转载于:https://www.cnblogs.com/ivyharding/p/11097041.html

    展开全文
  • 如何用简单易懂的例子解释条件随机场(CRF)模型 一篇很好的说明(一个网上的问答)
  • 条件随机场网址

    2018-03-14 18:36:30
    如何轻松愉快地理解条件随机场(CRF)?https://www.jianshu.com/p/55755fc649b1如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别?(全,多)https://www.zhihu.com/question/35866596...

    如何轻松愉快地理解条件随机场(CRF)?

    https://www.jianshu.com/p/55755fc649b1

    如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别?(全,多)

    https://www.zhihu.com/question/35866596

    展开全文
  • 轻松理解条件随机场

    2019-10-24 21:19:42
    说明一下:下面这篇文章是我看过之后感觉非常好的...理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,我翻译...
  • 条件随机场是一种无向图模型,且相对于深度网络有非常多的优势,因此现在很多研究者结合条件随机场(CRF)与深度网络获得更鲁棒和可解释的模型。 在介绍条件随机场之前,首先简单说明马尔科夫...
  • 条件随机场是一种无向图模型,且相对于深度网络有非常多的优势,因此现在很多研究者结合条件随机场(CRF)与深度网络获得更鲁棒和可解释的模型。 假设我们有两个相同的骰子,但是其中的一个是公平的,每个点数出现的...
  • 转载CRF条件随机场简单解释 详细解释:NLP —— 图模型(二)条件随机场(Conditional random field,CRF) 问题的引入 假设你有许多小明同学一天内不同时段的照片,从小明提裤子起床到脱裤子睡觉各个时间段都有...
  • 条件随机场 CRF

    2019-10-06 21:10:03
    问题描述:请解释一下NER任务中CRF层的作用。 问题求解: 在做NER任务的时候,神经网络学习到了文本间的信息,而CRF学习到了Tag间的信息。 加入CRF与否网络的差别 首先对于不加CRF层的NER网络,往往每个输出...
  • NLP --- 条件随机场CRF背景

    千次阅读 2018-12-20 13:02:38
    已经最大熵的背景知识,其实还是多建议大家读读论文,如果读英语有点难度,那就看李航的《统计学习方法》的最大熵模型和条件随机场,这本书的质量很高,本节主要讲一些条件随机场的背景知识,解释为什么需要引入条件...
  • 条件随机场(CRF)是给定一组输入随机变量条件下,求另一组输出随机变量的条件概率...其特点是假设输出随机变量构成马尔科夫随机场(后面解释),条件随机场可以用于不同的预测问题,对自然语言处理过程主要是线性...
  • 统计学习方法里的一章。   参考: 如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别?  
  • 开篇 先来一篇博文感性认识一下什么是条件随机场 参考博客 里面的一些公式还是解释的不够清楚,所以我会结合李航老师和宏毅老师的一些内容来完善整个条件随机场的东西,希望能够帮助到大家。...
  • 本部分从建模的角度讨论条件随机场解释条件随机场如何将结构化输出上的概率分布表示为高维输入向量的函数。条件随机场即可以理解为逻辑回归在任意图结构上的扩展,也可以理解为结构化数据的生成模型(如隐马尔可夫...
  • 所谓条件随机场,我们分成两个部分来进行解释:条件指的是,条件概率;随机场指的是,y 节点连接而成的无向图模型,称之为Markov Field。CRF 的概率图模型如下所示: 5.1 势函数化简 我们想要得出 P(Y∣X)P(Y | X)P...
  • 本文将尽量使用易懂的方式,尽可能不涉及数学公式,而是从整体的思路上来看,运用感性直觉的思考来解释条件随机场。并且用水浒传为例学习。并且从名著中找了具体应用场景来帮助大家深入这个概念。
  • 咋分解呢,将一个图分为若干个“小团”,注意每个团必须是“最大团”(就是里面任何两个点连在了一块,具体……算了不解释,有点“最大连通子图”的感觉),则有: , 其中 ,公式应该不难理解吧,归一化是为了让...
  • 概念介绍 — 基于 BiLSTM-CRF模型中的命名实体识别任务中的CRF层解释 例子详解 — 用一个玩具的例子详细解释CRF是如何工作的 Chainer实现 — 用基于Chainer包的代码实现CRF层 背景知识 你唯.
  • 其中节点表示相关变量,边用于描述随机变量的依赖或相关性。 概率图模型分为贝叶斯网络(Bayesian Network) 和马尔可夫(Markov Network) 两大类。 1.1 贝叶斯网络 贝叶斯网络又称信念网络(Belief Network),或...
  • 咋分解呢,将一个图分为若干个“小团”,注意每个团必须是“最大团”(就是里面任何两个点连在了一块,具体……算了不解释,有点“最大连通子图”的感觉),则有:     , 其中 ,公式应该不难理解吧...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 136
精华内容 54
关键字:

条件随机场解释