精华内容
下载资源
问答
  • 最近在看文献时遇到了PMI(Pointwise Mutual Information),中文名叫点互信息. 概念与定义 PMI这个指标通常用来衡量两个事物之间的相关性,比如两个词,其原理很简单,公司如下 PMI(x;y)=log⁡p(x,y)p(x)p(y)=log⁡p...

    最近在看文献时遇到了PMI(Pointwise Mutual Information),中文名叫点互信息.

    概念与定义

    • PMI这个指标通常用来衡量两个事物之间的相关性,比如两个词,其原理很简单,公式如下
    • PMI(x;y)=logp(x,y)p(x)p(y)=logp(xy)p(x)=logp(yx)p(y)PMI(x;y) = \log\frac{p(x,y)}{p(x)p(y)} = \log\frac{p(x|y)}{p(x)} = \log\frac{p(y|x)}{p(y)}
    • 在概率论中,如果xy不相关,则p(x,y) = p(x)p(y)。如果二者相关性越大,则p(x,y)就相比于p(x)p(y)越大,那PMI也就越大。
    • 从后面两个条件概率可能更好的解释,p(xy)p(x)\frac{p(x|y)}{p(x)}越大,表明xy越相关
    • log取自信息论中对概率的量化转换

    NLP中使用PMI的一个简单例子

    • 比如要衡量like这个词的极性(正向情感 or 负向情感)先选择一些正向情感词如good,然后计算likegoodPMI
    • PMI(like,good)=logp(like,good)p(like)p(good)PMI(like,good) = \log\frac{p(like,good)}{p(like)p(good)}
    • 其中p(like,good)表示likegood在同一句话中出现的概率 = likegood2\frac{like和good同时出现次数}{总词数^2},p(like)表示like出现概率,p(good)表示good出现概率
    • PMI越大代表like正向情感倾向越明显
    展开全文
  • 点互信息PMI(Pointwise mutual information)

    万次阅读 多人点赞 2010-10-28 14:30:00
    在数据挖掘或者信息检索的相关资料里,经常会用到PMI这个指标来衡量两个事物之间的相关性。而在NLP中,考察两个词的相关性也非常有意义。孔子说:“不知其人视其友” 。英语俗语中也有类似表述:“You shall know a ...

    在数据挖掘或者信息检索的相关资料里,经常会用到PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性。PMI的定义如下:


    这个定义所体现的原理其实是相当直白的。在概率论中,我们知道,如果x跟y不相关,则 P(x,y) = P(x)P(y)。二者相关性越大,则 P(x,y) 就相比于 P(x)P(y) 越大。根据条件概率公式,你还可以写成


    这也很好理解,在y出现的情况下x出现的条件概率 p(x|y) 除以x本身出现的概率 p(x) ,自然就表示x跟y的相关程度。

    这里的log来自于信息论的理论,而且 log 1 = 0 ,也恰恰表明P(x,y) = P(x)P(y),相关性为0,而且log是单调递增函数,所以P(x,y) 就相比于 P(x)P(y) 越大x 和 y 相关性越大” 这一性质也得到保留。


    来看一个源自维基百科上的例子:


    可以试着在R中算算结果

    > log(0.1/(0.8*0.25),2)
    [1] -1
    > log(0.05/(0.2*0.75),2)
    [1] -1.584963

    完整的结果如下:

    • PMI(x=0,y=0)=log (0.1/(0.8*0.25)) = -1
    • PMI(x=0,y=1)= 0.2223924
    • PMI(x=1,y=0)= 1.5849625
    • PMI(x=1,y=1)=-1.584963


    考察两个词的相关性对于自然语言处理非常有意义。孔子说:“不知其子视其父,不知其人视其友,不知其君视其所使,不知其地视其草木。” 英语俗语中也有类似表述:“You shall know a person by the company it keeps.” 后来,英国语言学家 J. R. Firth在此基础上造出“You shall know a word by the company it keeps” 这句语言学名句。所以考察两个词共同出现(co-occurrence)的性质就相当有必要。


    通常我们可以用一个Co-occurrence Matrix来表示对一个语料库中两个单词出现在同一份文档的统计情况,例如



    以计算PMI(information,data)为例则有(其中分母上的19是上表所有数值之和):


    其他中间结果如下表所示:



    但是从上表中你可能会发现一个问题,那就是你有可能会去计算 log 0 = -inf,即得到一个负无穷。为此人们通常会计算一个PPMI(Positive PMI)来避免出现 -inf,即

    (全文完)

    展开全文
  • PMI(Pointwise Mutual Information)点互信息:这一指标用来衡量两个事物之间的相关性。 如下: 在概率论中,如果x和y无关,p(x,y)=p(x)p(y);如果x和y越相关,p(x,y)和p(x)p(y)的比就越大。从后两个条件概率可能...

    PMI的定义

    PMI(Pointwise Mutual Information)点互信息:这一指标用来衡量两个事物之间的相关性。

    如下:

    在这里插入图片描述
    在概率论中,如果x和y无关,p(x,y)=p(x)p(y);如果x和y越相关,p(x,y)和p(x)p(y)的比就越大。从后两个条件概率可能更好解释,在y出现的条件下x出现的概率除以单看x出现的概率,这个值越大表示x和y越相关。在这里插入图片描述
    log来自于信息论的理论,而且 log 1 = 0 ,也恰恰表明P(x,y) =
    P(x)P(y),相关性为0,而且log是单调递增函数,所以 “P(x,y) 就相比于 P(x)P(y) 越大,x 和 y 相关性越大”
    这一性质也得到保留。

    举例

    • 通常我们可以用一个Co-occurrence Matrix来表示对一个语料库中两个单词出现在同一份文档的统计情况,例如在这里插入图片描述
      以计算PMI(information,data)为例则有(其中分母上的19是上表所有数值之和):在这里插入图片描述
      其他中间结果如下表所示:在这里插入图片描述
    • 但是从上表中你可能会发现一个问题,那就是你有可能会去计算 log 0 = -inf,即得到一个负无穷。

    正点互信息PPMI

    为此人们通常会计算一个 PPMI(Positive PMI) 来避免出现
    -inf,即在这里插入图片描述

    展开全文
  • PMI(Pointwise Mutual Information) 机器学习相关文献中,可以看到使用PMI衡量两个变量之间的相关性,比如两个...log取自信息论中对概率的量化转换(对数结果为负,一般要再乘以-1,当然取绝对值也是一样的)。 .

    PMI(Pointwise Mutual Information)

    机器学习相关文献中,可以看到使用PMI衡量两个变量之间的相关性,比如两个词,两个句子。原理公式为:

    在概率论中,如果x和y无关,p(x,y)=p(x)p(y);如果x和y越相关,p(x,y)和p(x)p(y)的比就越大。从后两个条件概率可能更好解释,在y出现的条件下x出现的概率除以单看x出现的概率,这个值越大表示x和y越相关。

    log取自信息论中对概率的量化转换(对数结果为负,一般要再乘以-1,当然取绝对值也是一样的)。

     

    自然语言处理中使用PMI的例子

    比如,要衡量like这个词的极性(正向情感or负向情感)。先选一些正向情感词如good,计算like跟good的PMI,

    其中p(like,good)表示like跟good在同一句话出现的概率(like跟good同时出现次数/总词数^2),p(like)表示like出现概率,p(good)表示good出现概率(good出现次数/总词数)。

    PMI越大代表like正向情感倾向越明显。

    【不过,对话语料库和全词预料库的PMI有一点不同...

     

    利用PMI预测对话的回复语句关键词

    先在比较大的训练预料中计算query每个词(wq)和reply每个词(wr)的PMI,

    这里概率p(wq,wr)为wq和wr分别在一个对话pair的上下句同时出现的概率(wq和wr同时出现的对话pair数/训练语料q部分每个词和r部分每个词组成pair的总数),p(wq)是wq在q语句中出现的概率(wq在q语料中出现的语句数/q语料总数)。

    计算出一个PMI矩阵,两个维度分别是query词表和reply词表,

    预测回复关键词时,计算候选词表中某个词和给定的query的n个词(wq1,...wqn)的PMI,对n求和,候选词表每个词都这样求个PMI和,选出最大的那个对应的候选词就是predict word。

    文章中还对 keyword candidates 作了限制,规定它的范围是名词。

     

    参考文献:

    [1] Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation.

    展开全文
  • 互信息和点互信息

    2019-03-07 21:55:49
    点互信息PMI(Pointwise Mutual Information) 点互信息就是很亮两个失误的相关性, 在概率论中,我们知道,如果x跟y不相关,则p(x,y)=p(x)p(y)。二者相关性越大,则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更 ...
  • sklearn:点互信息和互信息

    万次阅读 2017-06-03 00:07:53
    1、点互信息PMI 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个 词)。 其原理很简单,公式如下: 在概率论中,我们知道,如果x跟y不...
  • 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个词)。 关于PMI PMI, 是互信息(NMI)中的一种特例, 而互信息,是源于信息论中的一个概念,...
  • 情感分析之PMI互信息

    千次阅读 2019-04-03 15:40:21
    PMI(Pointwise Mutual Information),这里当然不是指经济上的那个PMI,而是点互信息,作用是衡量两个随机变量的相关性。可以用于情感分析中的情感分数计算,计算公式如下: pmi(w1,w2)=log(p(w1,w2)p(w1)∗p(w2))=...
  • 点互信息

    2013-10-03 17:49:00
    点互信息 Pointwise mutual information(PMI), orpoint mutual information, is a measure of association used ininformation theoryandstatistics. The PMI of a pair ofoutcomesxandybelonging todiscr...
  • 情感分类在数据挖掘领域应该是一个比较细分而且难做的部分,之前在研究生阶段了解了一点,印象中有研究把twitter的情感...就花了时间实现了一个比较简单的demo,效果不是很好,大概65%左右的准确率,需要进一步细化。
  • 目录 TF-IDF原理 TF-IDF代码 方法1:使用...点互信息PMI 互信息MI 对特征矩阵使用互信息进行特征筛选 sklearn.metrics.mutual_info_score sklearn.feature_selection.mutual_info_classif 参...
  • 互信息PMI)主要用于计算词语间的语义相似度,基本思想是统计两个词语在文本中同时出现的概率,如果概率越大,其相关性就越紧密,关联度越高。两个词语word1与word2的PMI值计算公式如下式所示为: ...
  • 本文讲解词向量中的分布邻居、观测值/期望值、点互信息PMI等内容。 Distributional neighbors(分布邻居): 对于给定的单词w,neighbors函数根据单词距w的距离(默认值:vsm.cosine),对词汇表中的所有单词进行...
  • 互信息(Mutual Information)介绍

    千次阅读 2021-01-23 17:48:09
    在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的...互信息互信息PMI)的期望值。互信息最常用的单位是bit。 1.互信息的定义  
  • 情感倾向点互信息算法(SO-PMI)算法点互信息算法 PMI情感倾向点互信息算法 SO-PMI3. 构建情感词典1. 导入项目2. 构建情感种子词3. 使用TF-IDF方便构建情感种子词4. 构建专业词典的效果与使用方法5. 其他说明 1. ...
  • 文章目录互信息与点互信息点互信息互信息sklearn编程实现TF-IDF及TF-IDF值的计算TF-IDF...在机器学习领域,经常会用到点互信息PMI这个指标来衡量两个事物之间的相关性(比如两个词)。原理如下: 若x与y不相关,...
  • 机器学习相关性分析

    2019-08-27 09:43:56
    1、点互信息PMI 机器学习相关文献里面,经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性(比如两个 词)。 其原理很简单,公式如下: 在概率论中,我们知道,如果x跟y不...
  • NLP系列——(3)特征选择

    千次阅读 2019-05-15 10:45:19
    文章目录一、TF-IDF1.1 背景1.2 TF-IDF概述1.3 TF-TIDF的实现1.3.1 用gensim库来计算tfidf值1.3.2 用sklearn库来计算tfidf值1.3.3 用python手动实现tiidf的计算二、互信息2.1 点互信息PMI2.2 互信息MI2.3 对特征矩阵...
  • 文章目录1. 任务2. TF-IDF原理2.1 词频 (term frequency, TF)2.2 逆向文件频率 (inverse document frequency, IDF)2.3 TF-IDF3. 文本矩阵化,使用词袋模型,以TF-IDF特征值为权重。...4.1 点互信息PMI4.2 ...
  • 先来一两句废话,要想解释好点互信息必须学会科学上网,当然如果没有条件本篇博客会具体介绍。上网百度得到的搜索结果如下图1-1所示,事实证明百度不够自信,这么重要的概念百度学术里面没有?淦!居然都是来自CSDN...
  • nltk主要应用总结

    千次阅读 2017-07-27 15:15:23
     获取和处理语料库 nltk.corpus 语料库和词典的标准化接口...搭配发现 nltk.collocations t-检验,卡方,点互信息 PMI 词性标识符 nltk.tag n-gram,backoff,Brill,HMM,TnT 分类 nltk.classify, nltk.cluster
  • 特征选择---理论篇

    2019-03-07 21:20:25
    过滤(Filter)1.1 点互信息PMI2. 包裹(Warpper)3. 嵌入法(Embedding) 一个典型的机器学习任务,是通过样本的特征来预测样本所对应的值。如果样本的特征少了,我们会考虑增加特征,比如Polynomial Regression...
  • 第二章:进行情感词词典扩展。 第三章:采用条件随机场模型和最大熵模型在产品属性抽取任务中进行比较分析; 第四章:产品属性跨领域移植的方法。       ...点互信息PMI:     x,y不相关时,
  • Task3.特征选择

    2019-05-16 19:50:00
    互信息 衡量两个随机变量之间的相关性,两个随机变量相关信息的多少。 随机变量就是随机试验结果的量的表示,可以理解为按照某个...的取值的点互信息的加权和。 点的互信息PMI从互信息中衍生出来的 PMI用...

空空如也

空空如也

1 2
收藏数 38
精华内容 15
关键字:

点互信息pmi