基于java版jieba分词实现的tfidf关键词提取
文章目录
基于java版jieba分词实现的tfidf关键词提取


为了改善我的个性化新闻推荐系统的基于内容相似度的推荐算法效果，我尝试找寻关键词提取效果可能优于本来使用的ansj的tfidf的其它库，花了一番功夫后，发现tfidf算法本身并不复杂，但是训练tfidf的语料库可能才是性能的瓶颈，所以我找到了很有名的中文分词库jieba分词的语料库，并且找到了jieba分词的Java版本，于是fork了项目，并参照python版tfidf算法，实现了Java版本的tfidf算法，最后验证了效果一致。（PS：但是给原项目发pull request的时候没有人处理，看起来java版的项目似乎已经很长时间没有人维护了…）

我的项目链接放到了这里，欢迎大家star和fork，也欢迎提出任何建议和pull request，也希望以后能长期维护该项目，因为我本人对于自然语言处理的相关技术也是比较感兴趣的。

TFIDF原理

对于若干个文章的集合，我们要提取每篇文章具有代表性的关键词，我们应该怎么做呢？

最直观也是最容易想到的方法，就是统计每个词汇在文章中出现的频率TF（term frequency），频率高的就是具有代表性的词汇。TF的计算方法如下：

                                                           

另外一点，举个例子，我们有三类文章A,B,C，首先这3篇文章都有一个高频率词汇“中国”（而且是频率最高的词汇），其次，A文章第二高频词汇为“体育”，B“艺术”，C“音乐”；请问，你觉得“中国”可以作为ABC任意一片文章最具有代表性的词汇吗？明显不可以。所以，除了考虑词汇的频率之外，还需考虑词汇在其他文档当中出现的概率，我们通常认为：如果一个词汇在某篇文章中出现了，而在其他文章中没有出现，则该词汇更偏向于是该文章的关键词。我们用一下公式来衡量：

                                                

综合考虑以上两个关键词要素，我们可以得到TFIDF的计算公式：

                                                  

参考文献：

[1] tfidf - wiki

[2] TF-IDF与余弦相似性的应用（一）：自动提取关键词

NLP--关键词提取算法（收费）-学习视频教程-腾讯课堂​ke.qq.com
简介中最为重要就是说了有监督算法和无监督算法的区别，为什么有监督算法不适合于关键词提取进行了特别说明。
TF-IDF学习笔记：
知乎视频​www.zhihu.com
其实这张PPT核心就是底部这句话，过滤掉常见的词语，保留得要的词语。
TextRank学习笔记：
这张PPT主要讲得就是底部这个公式，理解了这个公式就理解整个PPT了，说白了就是一个词I被其它词J引用合计得到一个分数除以其它词J引用除词I之外即词K的分数之和，再乘以词J本身的得分，这样就得到了词I的得分。
这张PPT最核心就是要理解收敛，个人认为之所以能够收敛是因为现实世界中这些词的得分就是有的，多次迭代其实是个学习的过程而已，就如同HMM也是通过统计频率来得到三个概率矩阵一样。
而窗口概念的引出使得计算成为可能。
主题模型学习笔记：
主题模型与TF-IDF,TextRank不同之处就是在于不是根据词语在文档中出现的次数来确定关键词。
基本思路核心在于理解P（词语|文档）是怎么来的，个人理解其实是两个矩阵相乘，把主题这一维约去了。
主题模型核心代码讲解：
个人认为这块的代码逻辑并不复杂，但是首先要对gensim中corpora, models这两个包的作用要明白，而这个在视频中没有多讲，需要自学相关知识，我在学习这块知识所花费了有一天时间。
在此基础上跑通并看懂代码没有什么难度，最难的一句代码我认为就是这句了
for k, v in sorted(sim_dic.items(), key=functools.cmp_to_key(cmp), reverse=True)[:self.keyword_num]:
而最核心的就是 key=functools.cmp_to_key(cmp)的理解，cmp_to_key 将比较函数转换为关键字函数可以用于sorted
TF-IDF代码学习笔记：
学习了主题模型核心代码，再学习这块代码根本无压力，其编程思路就是TF-IDF的公式，先求TDF的值，再注TF值，然后在get_tfidf(self)中计算TF-IDF，求取关键词。
TextRank算法代码学习笔记：
这节课其实主要是讲解了jibea的analyse.textrank的源码，这个源码是相当复杂的，视频只讲解了7分钟，但是我根据视频进行调试跟踪却足足花了有一天的时间才学完，个人认为要搞懂TextRank算法对于看懂代码非常重要，结合前面讲的算法PPT，再来学习此代码会使学习效率大增，我开始就是走了弯路，否则也不会花一天时间来搞定这些代码。

       之前使用TFIDF做过行业关键词提取，TFIDF仅从词的统计信息出发，而没有充分考虑词之间的语义信息。TextRank考虑到了相邻词的语义关系，是一种基于图排序的关键词提取算法。
TextRank的提出
       TextRank由Mihalcea与Tarau于EMNLP'04提出来，核心思想：通过词之间的相邻关系构建网络，然后用PageRank迭代计算每个节点的rank值，排序rank值即可得到关键词。PageRank本来是用于Google的网页排名的，网页之间的链接关系即为图的边，迭代计算公式如下：
     节点 
 的Rank值；
   节点 
 的前驱节点集合（入链）；
 节点 
 的后继结点集合（出链）；
                           d                damping factor 阻尼系数，一般设置为0.85，便于快速收敛。
       PageRank通过互联网中的超链接关系来确定一个网页的排名，其公式是通过一种投票的思想来设计的：如果我们要计算网页A的PageRank值（以下简称PR值），那么我们需要知道有哪些网页链接到网页A，也就是要首先得到网页A的入链，然后通过入链给网页A的投票来计算网页A的PR值。这样设计可以保证达到这样一个效果：当某些高质量的网页指向网页A的时候，那么网页A的PR值会因为这些高质量的投票而变大，而网页A被较少网页指向或被一些PR值较低的网页指向的时候,A的PR值也不会很大，这样可以合理地反映一个网页的质量水平。
       网页之间的链接关系使用图来表示很容易理解，如何将一个句子构建成图？TextRank将某一个词与其前面的N个词、以及后面的N个词均具有图相邻关系（类似于N-gram语法模型）。具体实现：设置一个长度为N的滑动窗口，所有在这个窗口之内的词都视作词结点的相邻结点；则TextRank构建的词图为无向图。
       和PageRank相比，TextRank多了权重项，用来表示两个节点之间的边连接有不同的重要程度。TextRank用于关键词提取的算法如下：
        1)把给定的文本T按照完整句子进行分割，即  
        2)对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即
，其中 ti,j 是保留后的候选关键词。
　　3)构建候选关键词图G = (V,E)，其中V为节点集，由（2）生成的候选关键词组成，然后采用共现关系（co-occurrence）构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词。
　　4)根据上面公式，迭代传播各节点的权重，直至收敛。
　　5)对节点权重进行倒序排序，从而得到最重要的T个单词，作为候选关键词。
　　6)由5得到最重要的T个单词，在原始文本中进行标记，若形成相邻词组，则组合成多词关键词。
TextRank提取关键词短语
        关键词短语的提取基于关键词提取，在文本中提取若干相邻的关键词，既可构成关键短语。
TextRank生成摘要
       摘要的抽取，是将文本中的每一个句子看作一个节点，计算句子之间的相似性，那么句子间对应的节点存在无向有权边。相似性使用同时出现在两个句子中的同一个词的个数作为分子，分母是对句子中词的个数求对数之和。使用相似度公式循环计算任意两个节点之间的相似度，根据阈值去掉两个节点之间相似度较低的边连接，构建出节点连接图，然后计算TextRank值，最后对所有TextRank值排序，选出TextRank值最高的几个节点对应的句子作为摘要。
TextRank文本重要性排序
      基于textrank，将每一个文本作为一个节点，计算节点之间的相似性，根据阈值去掉两个节点之间相似度较低的边连接，构建出节点连接图，然后计算TextRank值，最后对所有TextRank值排序，作为文本重要性排序的依据。