精华内容
下载资源
问答
  • K-means在关键词聚类中的尝试

    千次阅读 2019-03-22 01:34:51
    K-means在文本聚类中的尝试 K-means算法是无监督的聚类算法。它的算法思想是:先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类...

    K-means在文本聚类中的尝试

    K-means算法是无监督的聚类算法。它的算法思想是:先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了,每个聚类的聚类中心会根据聚类中现有的对象被重新计算。

    K-means算法的关键点在于:

    • 初始k个聚类中心的选择
    • 距离的计算方式

    我想讨论的是:在关键词聚类的任务当中,距离的计算方式的选择,对聚类效果的影响。


    具体任务

    我爬取了司法相关的法律文章,包括:

    • 法律
    • 法律法规
    • 法律解读
    • 行政法规
    • 部门规章
    • 地方政府规章

    首先对于这些文章我使用了LTP进行分词,对每个词计算它的TFIDF值,然后根据TFIDF值大小选取了每篇文章的前10个关键词得到关键词词袋。

    任务的目的是将同一类关键词划分在一起,得到司法文章某一类的共性,从而得到司法文章的全部类别特性。

    我把这个任务视为一个聚类任务。因为虽然我们事先已经对文章有了“预分类”,但是文章的关键词可能是多个类别所共有的,换言之,关键词词袋不同于“预分类”文章,并不具有类别特性,仍需要我们根据关键词的特性将同一类关键词划分在同一簇中。


    关键词向量化

    我对关键词向量化的方式是词向量概率模型,做法是将关键词映射到6维实数向量,6个维度分别对应----法律,法律法规,法律解读,部门规章,行政法规,地方政府规章。对于关键词w(w属于关键词词袋),他的第i维的值xi是它在i维中出现的tfidf值的和,于是w = {x0,x1,x2,x3,x4,x5}

    向量化后的关键词词袋,就可以应用k-means算法进行聚类了,但由于我之前没有NLP的经验,使用k-means算法对关键词聚类的过程中走了弯路。


    欧式距离

    欧式距离是K-means在网上流传性比较广的实现方式,尽管我不知道它是否在学术上流传广泛。

    应用欧式距离进行k-means聚类,问题在于:文本的预处理以及向量化过程导致使用欧式距离难以得到良好效果。
    具体而言,为了得到文章的关键词,不能简单的使用概率模型,不得不使用TF-IDF(逆向文本率)剔除文本共性,得到文章的关键词;但词向量化过程,由于剔除了文本共性,得到的词向量(欧式距离中更好的表述是“词点”),绝大多数都是诸如{1,0,0,0,0,0}只在某一维度上拥有非0值。最终导致,使用欧式距离,绝大多数“词点”集中在{0,0,0,0,0,0}“原点”附近。


    余弦相似度

    因为欧式距离难以实现聚类效果,所以我把目光转向了在其他文章博客中多次提到但没有人拿来实现的余弦相似度K-means。
    为了少走弯路,我查阅了基于余弦距离选取初始簇中心的文本聚类研究论文。
    论文的贡献在于:

    • 1、探索余弦相似度与欧氏距离的关系, 在此基础上给出一种余弦距离, 通过余弦距离的优良性质, 使改进算法思想得以运用到余弦K-means算法中。
    • 2、余弦K-means及其拓展算法的簇内中心点仍是簇内各坐标的和的均值, 与欧氏K-means的簇内中心点的计算方法相同
    • 3、将欧氏距离的距离远即可当初始点的思想迁移应用于余弦K-means算法, 即依次寻找余弦距离相隔最远的K个点。

    在1中,作者证明了余弦相似度、欧氏距离,以及作者提出的余弦距离在函数上的关系,作为作者改进K-means算法的基础。
    在这里插入图片描述
    作者在文章中给出了改进后的算法在公开数据集20newsgroup (20NG) 新闻组数据集上的实验数据
    在这里插入图片描述
    可见改进后的算法效果得到了提升。

    有了上述论文的理论支持,我部分实现了作者的改进Kmeans算法(没有采用余弦距离,采用了余弦相似度,但中心点和初始点选择参考了作者的实现)。同一簇内的向量基本具有相同的方向,我又根据簇内向量在中心向量上的投影的大小,将簇内向量进行重要性排序,最终利用了词向量方向和距离的特性,得到了较好的聚类效果。

    http://xueshu.baidu.com/usercenter/paper/show?paperid=40a3ae181b554a498725b6815daf3e18&site=xueshu_se

    展开全文
  • 最近我在用Rwordseg聚类分词,分词效果不理想,如何增加关键词库权重,请给源代码示范一下,急求解答,感谢!
  • 利用Python实现中文文本关键词抽取,分别采用TF-IDF、TextRank、Word2Vec词聚类三种方法。
  • HanLP是由一系列模型与算法组成的工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构...提供词法分析(中文分词、词性标注、命名实体识别)、句法分析、文本分类和情感分析等功能。
  • 文本聚类

    2021-01-03 15:33:43
    注意,单词的颗粒度(分词、新词提取、关键词提取) < 短语的颗粒度(短语提取) < 句子的颗粒度(关键句提起) < 文章颗粒度(聚类),这些无监督任务一直体现着高内聚、低耦合的原则。 2 问题 对多个...

    (纯属为了记录自己学习的点滴过程,引用资料都附在参考列表)

    1 基本概念

    聚类(cluster analysis )指的是将给定对象的集合划分为不同子集的过程,目标是使得每个子集内部的元素尽量相似,不同子集间的元素尽量不相似。

    • 注意,单词的颗粒度(分词、新词提取、关键词提取) < 短语的颗粒度(短语提取) < 句子的颗粒度(关键句提起) < 文章颗粒度(聚类),这些无监督任务一直体现着高内聚、低耦合的原则。

    2 问题

    对多个文档,在文档颗粒上进行聚类;

    3 解决思路

    3.1 基本思想

    文本聚类的基本流程分为特征提取和向量聚类两步, 如果能将文档表示为向量,就可以对其应用聚类算法。这种表示过程称为特征提取,而一旦将文档表示为向量,剩下的算法就与文档无关了。这种抽象思维无论是从软件工程的角度,还是从数学应用的角度都十分简洁有效。

    3.2 文档特征提取

    词袋(bag-of-words )是信息检索与自然语言处理中最常用的文档表示模型,它将文档想象为一个装有词语的袋子, 通过袋子中每种词语的计数等统计量将文档表示为向量。比如下面的例子:

    人 吃 鱼。
    美味 好 吃!

    统计词频后如下:

    人=1
    吃=2
    鱼=1
    美味=1
    好=1

    文档经过该词袋模型得到的向量表示为[1,2,1,1,1],这 5 个维度分别表示这 5 种词语的词频。
    一般选取训练集文档的所有词语构成一个词表,词表之外的词语称为 oov,不予考虑。一旦词表固定下来,假设大小为 N。则任何一个文档都可以通过这种方法转换为一个N维向量。比如“人 吃 大 鱼”这个文档,它的词频统计为:

    人=1
    吃=1
    鱼=1
    美味=0
    好=0

    那么它的词袋向量就是[1,1,1,0,0],其中后两个维度上的词语没有出现,所以都是0。而“大”这个词属于OOV,散落在词袋之外,所以不影响词袋向量。
    词袋模型不考虑词序,也正因为这个原因,词袋模型损失了词序中蕴含的语义,比如,对于词袋模型来讲,“人吃鱼”和“鱼吃人”是一样的,这就荒谬了,但在实际工程中,词袋模型依然是一个很难打败的基线模型。

    词袋中的统计量

    • 布尔词频: 词频非零的话截取为1,否则为0,适合长度较短的数据集
    • TF-IDF: 适合主题较少的数据集
    • 词向量: 如果词语本身也是某种向量的话,则可以将所有词语的词向量求和作为文档向量。适合处理 OOV 问题严重的数据集。
    • 词频向量: 适合主题较多的数据集

    3.3 k均值聚类

    详细推导见《统计学习方法》;

    3.4 层次聚类

    《统计学习方法》中只介绍了自下而上的聚合层次聚类,没有介绍自上而下的分裂层次聚类,而本节实现中使用的是分裂层次聚类。

    4 实现

    4.1 聚类算法实现

    该聚类模块可以接受任意文本作为文档,而不需要用特殊分隔符隔开单词。

    # -*- coding:utf-8 -*-
    
    from pyhanlp import *
    
    ClusterAnalyzer = JClass('com.hankcs.hanlp.mining.cluster.ClusterAnalyzer')
    
    if __name__ == '__main__':
        analyzer = ClusterAnalyzer()
        analyzer.addDocument("赵一", "流行, 流行, 流行, 流行, 流行, 流行, 流行, 流行, 流行, 流行, 蓝调, 蓝调, 蓝调, 蓝调, 蓝调, 蓝调, 摇滚, 摇滚, 摇滚, 摇滚")
        analyzer.addDocument("钱二", "爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲")
        analyzer.addDocument("张三", "古典, 古典, 古典, 古典, 民谣, 民谣, 民谣, 民谣")
        analyzer.addDocument("李四", "爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 爵士, 金属, 金属, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲, 舞曲")
        analyzer.addDocument("王五", "流行, 流行, 流行, 流行, 摇滚, 摇滚, 摇滚, 嘻哈, 嘻哈, 嘻哈")
        analyzer.addDocument("马六", "古典, 古典, 古典, 古典, 古典, 古典, 古典, 古典, 摇滚")
        print(analyzer.kmeans(3))
        print(analyzer.repeatedBisection(3))
        print(analyzer.repeatedBisection(1.0))  # 自动判断聚类数量k
    
    

    运行结果:

    [[王五, 赵一], [马六, 张三], [李四, 钱二]]
    [[李四, 钱二], [王五, 赵一], [张三, 马六]]
    [[李四, 钱二], [王五, 赵一], [张三, 马六]]
    

    4.2 Evaluation

    聚类任务常用的一种评测手段是沿用分类任务的F1F_1,将一些人工分类好的文档去掉标签交给聚类分析器,统计结果中有多少同类别的文档属于同一个簇。具体计算公式如下:
    P(i,j)=nijnjR(i,j)=nijniF1(i,j)=2×P(i,j)×R(i,j)P(i,j)+R(i,j) \begin{aligned} & P(i, j) = \frac{n_{ij}}{n_j} \\ & R(i, j) = \frac{n_{ij}}{n_i} \\ & F_1(i, j) = \frac{2 \times P(i,j) \times R(i, j)}{P(i,j) + R(i,j)} \end{aligned}
    nijn_{ij}:表示簇j中属于类别ii的文档;
    njn_j:表示簇jj中文档总数;
    nin_i:表示类别ii中文档总数;
    对整个评测任务而言,它的综合F1F_1是所有类目上分值的加权平均,如下公式所述:
    F1=ininmaxj(F1(i,j)) F_1 = \sum\limits_{i}\frac{n_i}{n}\max\limits_j(F_1(i, j))
    其中n=inin = \sum\limits_i n_i

    本次评测选择搜狗实验室提供的文本分类语料的一个子集,我称它为“搜狗文本分类语料库迷你版”。该迷你版语料库分为5个类目,每个类目下1000 篇文章,共计5000篇文章。运行代码如下:

    # -*- coding:utf-8 -*-
    
    from pyhanlp import *
    from tests.demos.demo_text_classification import sogou_corpus_path
    
    ClusterAnalyzer = JClass('com.hankcs.hanlp.mining.cluster.ClusterAnalyzer')
    
    if __name__ == '__main__':
        for algorithm in "kmeans", "repeated bisection":
            print("%s F1=%.2f\n" % (algorithm, ClusterAnalyzer.evaluate(sogou_corpus_path, algorithm) * 100))
    
    

    运行结果:

    ...
    加载中...
    [教育]...100.00% 1000 篇文档
    [汽车]...100.00% 1000 篇文档
    [健康]...100.00% 1000 篇文档
    [军事]...100.00% 1000 篇文档
    [体育]...100.00% 1000 篇文档
    耗时 13399 ms 加载了 5 个类目,5000 篇文档
    kmeans聚类中...耗时 83538 ms 完毕。
    kmeans F1=72.22
    
    ...
    加载中...
    [教育]...100.00% 1000 篇文档
    [汽车]...100.00% 1000 篇文档
    [健康]...100.00% 1000 篇文档
    [军事]...100.00% 1000 篇文档
    [体育]...100.00% 1000 篇文档
    耗时 9857 ms 加载了 5 个类目,5000 篇文档
    repeated bisection聚类中...耗时 45148 ms 完毕。
    repeated bisection F1=80.40
    

    5 参考文献

    1. 何晗《自然语言处理入门》;
    2. 宗成庆《统计自然语言处理》;
    3. 李航《统计学习方法》;

    6 需要解决的问题

    1. 理解k-meas聚类、层次聚类更多数学细节;
    展开全文
  • Python中文文本聚类

    2020-04-15 01:24:24
    简介 一 切词 二 去除停用词 ...查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关於python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类也是如此),网上大部分是关於文本聚类的...

    原文:https://blog.csdn.net/yyxyyx10/article/details/63685382

     

     

    简介

    查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关於python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类也是如此),网上大部分是关於文本聚类的Kmeans聚类的原理Java实现R语言实现,甚至都有一个C++的实现

    正好我写的一些文章,我没能很好的分类,我想能不能通过聚类的方法將一些相似的文章进行聚类,然后我再看每个聚类大概的主题是什么,给每个聚类一个標签,这样也是完成了分类。

    中文文本聚类主要有一下几个步骤,下面將分別详细介绍:

    • 切词
    • 去除停用词
    • 构建词袋空间VSM(vector space model)
    • TF-IDF构建词权重
    • 使用K-means算法

    一、 切词

    这里中文切词使用的是结巴切词github项目主页作者微博

    github项目主页上有结巴切词的详细安装方式,以及示例说明,这里不再详述,一般情况下,可以使用如下方式安装。

    # pip install jieba

    或者

    # easy_install jieba

    还可以参考一下文章: 
    1.Python中文分词组件 jieba 
    2.python 结巴分词(jieba)学习

    二、 去除停用词

    结巴分词虽然有去除停用词的功能,但是好像只是给jieba.analyse组建使用的,並不给jieba.cut使用,所以这里我们还是要自己构建停用词文件,以及去除停用词。 
    常见的中文停用词有: 
    1. 中文停用词表(比较全面,有1208个停用词) 
    2. 最全中文停用词表整理(1893个)

    实现代码如下(代码比较水):

    def read_from_file(file_name):
        with open(file_name,"r") as fp:
            words = fp.read()
        return words
    def stop_words(stop_word_file):
        words = read_from_file(stop_word_file)
        result = jieba.cut(words)
        new_words = []
        for r in result:
            new_words.append(r)
        return set(new_words)
    def del_stop_words(words,stop_words_set):
    # words是已经切词但是没有去除停用词的文档。
    # 返回的会是去除停用词后的文档
        result = jieba.cut(words)
        new_words = []
        for r in result:
            if r not in stop_words_set:
                new_words.append(r)
        return new_words

    三、 构建词袋空间VSM(vector space model)

    接下来是构建词袋空间,我们的步骤如下 
    1. 將所有文档读入到程序中,再將每个文档切词。 
    2. 去除每个文档中的停用词。 
    3. 统计所有文档的词集合(sk-learn有相关函数,但是我知道能对中文也使用)。 
    4. 对每个文档,都將构建一个向量,向量的值是词语在本文档中出现的次数。 


    这举个例子,假设有两个文本,1.我爱上海,我爱中国2.中国伟大,上海漂亮 
    那么切词之后就有一下词语上海中国伟大漂亮,(逗號也可能被切词)。 
    再假设停用词是我 ,,那么去除停用词后,剩余的词语就是 
    上海中国伟大漂亮 
    然后我们对文档1和文档2构建向量,那么向量將如下:

    文本 上海 中国 伟大 漂亮
    文档1 2 1 1 0 0
    文档2 0 1 1 1 1

    代码如下:

    def get_all_vector(file_path,stop_words_set):
        names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
        posts = [ open(name).read() for name in names ]
        docs = []
        word_set = set()
        for post in posts:
            doc = del_stop_words(post,stop_words_set)
            docs.append(doc)
            word_set |= set(doc)
            #print len(doc),len(word_set)
    
        word_set = list(word_set)
        docs_vsm = []
        #for word in word_set[:30]:
            #print word.encode("utf-8"),
        for doc in docs:
            temp_vector = []
            for word in word_set:
                temp_vector.append(doc.count(word) * 1.0)
            #print temp_vector[-30:-1]
            docs_vsm.append(temp_vector)
    
        docs_matrix = np.array(docs_vsm)
    1. 在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]],我们尽可能將其放入到numpy的array或者matrix中方便下面TF-IDF的计算。

    四、 將单词出现的次数转化为权值(TF-IDF)

    换句话说,我们的vsm保存的本来已经是向量的形式,我们为什么还需要TF-IDF的形式呢?我认为这就是为了將单词出现的次数转化为权值。 
    关於TF-IDF的介绍可以参考网上的文章: 
    1. 基本文本聚类方法 
    2. TF-IDF百度百科 
    3. TF-IDF维基百科英文版

    这里需要注意的是关於TF(term frequency)的计算,关於IDF(Inverse document frequency)的计算,我看公式基本上都是一样的: 
    逆向文件频率(inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再將得到的商取对数得到: 

    本公式用 LaTex 编辑,推荐一个令人惊嘆的网站:Detexify 
    其中 
    N :语料库中的文件总数 
    dD,td∣ :包含词语的文件数目(即的文件数目)如果该词语不在语料库中,就会导致分母为零,因此一般情况下使用作为分母。
     

    然而百度百科以及网上大部分关於TF的介绍其实是有问题的,TF-IDF百度百科中说词频(term frequency,TF)指的是某一个给定的词语在该文件中出现的频率,那么很明显这个计算公式就为: 

    然而这种计算方式常常会导致TF过小,其实TF-IDF並不是只有一种计算方式,而是多种,这个时候就体现出维基百科的威力了,具体的关於TF-IDF的介绍还是要参照维基百科。

    如果不熟悉numpy,可以参考numpy官方文档

    column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
    column_sum = np.array(column_sum)
    column_sum = docs_matrix.shape[0] / column_sum
    idf =  np.log(column_sum)
    idf =  np.diag(idf)
    # 请仔细想想,根绝IDF的定义,计算词的IDF並不依赖於某个文档,所以我们提前计算好。
    # 注意一下计算都是矩阵运算,不是单个变量的运算。
    for doc_v in docs_matrix:
        if doc_v.sum() == 0:
            doc_v = doc_v / 1
        else:
            doc_v = doc_v / (doc_v.sum())
        tfidf = np.dot(docs_matrix,idf)
        return names,tfidf

    现在我们拥有的矩阵的性质如下,

    • 列是所有文档总共的词的集合。
    • 每行代表一个文档。
    • 每行是一个向量,向量的每个值是这个词的权值。

    五、 用K-means算法进行聚类

    到这个时候,我们可以使用kmeans算法进行聚类,对kmeans算法来说,它看到已经不是文本了,只是矩阵而已,所以我们用的也是通用的kmeans算法就可以了。 
    关於kmeans的介绍可以见於如下的文章: 
    1. 基本Kmeans算法介绍及其实现 
    2. K-means百度百科 
    3. 浅谈Kmeans聚类 
    所不同的是,在大部分的文本聚类中,人们通常用余弦距离(很好的介绍文章)而不是欧氏距离进行计算,难道是因为稀疏矩阵的原因,我並不太明白。

    下面的代码来自《机器学习实战》第十章的代码:

    def gen_sim(A,B):
        num = float(np.dot(A,B.T))
        denum = np.linalg.norm(A) * np.linalg.norm(B)
        if denum == 0:
            denum = 1
        cosn = num / denum
        sim = 0.5 + 0.5 * cosn
        return sim
    def randCent(dataSet, k):
        n = shape(dataSet)[1]
        centroids = mat(zeros((k,n)))#create centroid mat
        for j in range(n):#create random cluster centers, within bounds of each dimension
            minJ = min(dataSet[:,j]) 
            rangeJ = float(max(dataSet[:,j]) - minJ)
            centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
        return centroids
    
    def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
        m = shape(dataSet)[0]
        clusterAssment = mat(zeros((m,2)))#create mat to assign data points 
                                          #to a centroid, also holds SE of each point
        centroids = createCent(dataSet, k)
        clusterChanged = True
        counter = 0
        while counter <= 50:
            counter += 1
            clusterChanged = False
            for i in range(m):#for each data point assign it to the closest centroid
                minDist = inf; 
                minIndex = -1
                for j in range(k):
                    distJI = distMeas(centroids[j,:],dataSet[i,:])
                    if distJI < minDist:
                        minDist = distJI; 
                        minIndex = j
                if clusterAssment[i,0] != minIndex: 
                    clusterChanged = True
                clusterAssment[i,:] = minIndex,minDist**2
            #print centroids
            for cent in range(k):#recalculate centroids
                ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
                centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean 
        return centroids, clusterAssment

    六、 总结

    基本上到这里为止,一个可用的中文文本聚类工具已经完成了,github项目地址。 
    其效果到底怎么样呢?

    我自己有一些未分类的文章属於人生感悟(羞羞脸)类別的共有182篇,在切词以及去除停用词之后,共得到13202个词语,我设置K=10,嗯,效果並不是太好,当然可能有一下原因:

    • 文档本身已经属於高度分类的了,基於词频的聚类並不能发现关於这些文章间的细微的区別。
    • 算法需要优化,可能有些地方可以设置修改一下。

    总之,在学习若干天机器学习后,第一次实践之旅算是结束了。

    本文转载自:http://blog.csdn.net/likeyiyy/article/details/48982909

    展开全文
  • HanLP是由一系列模型与算法组成的工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构...提供词法分析(中文分词、词性标注、命名实体识别)、句法分析、文本分类和情感分析等功能。
  • 简介 ...查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关于python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类也是如此),网上大部分是关于文本聚类的Kmeans聚类...

    简介

    查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关于python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类也是如此),网上大部分是关于文本聚类的Kmeans聚类的原理Java实现R语言实现,甚至都有一个C++的实现

    正好我写的一些文章,我没能很好的分类,我想能不能通过聚类的方法将一些相似的文章进行聚类,然后我再看每个聚类大概的主题是什么,给每个聚类一个标签,这样也是完成了分类。

    中文文本聚类主要有一下几个步骤,下面将分别详细介绍:

    • 切词
    • 去除停用词
    • 构建词袋空间VSM(vector space model)
    • TF-IDF构建词权重
    • 使用K-means算法

    一、 切词

    这里中文切词使用的是结巴切词github项目主页作者微博

    github项目主页上有结巴切词的详细安装方式,以及示例说明,这里不再详述,一般情况下,可以使用如下方式安装。

    # pip install jieba
    • 1

    或者

    # easy_install jieba
    • 1

    还可以参考一下文章:
    1.Python中文分词组件 jieba
    2.python 结巴分词(jieba)学习

    二、 去除停用词

    结巴分词虽然有去除停用词的功能,但是好像只是给jieba.analyse组建使用的,并不给jieba.cut使用,所以这里我们还是要自己构建停用词文件,以及去除停用词。
    常见的中文停用词有:
    1. 中文停用词表(比较全面,有1208个停用词)
    2. 最全中文停用词表整理(1893个)

    实现代码如下(代码比较水):

    def read_from_file(file_name):
        with open(file_name,"r") as fp:
            words = fp.read()
        return words
    def stop_words(stop_word_file):
        words = read_from_file(stop_word_file)
        result = jieba.cut(words)
        new_words = []
        for r in result:
            new_words.append(r)
        return set(new_words)
    def del_stop_words(words,stop_words_set):
    #   words是已经切词但是没有去除停用词的文档。
    #   返回的会是去除停用词后的文档
        result = jieba.cut(words)
        new_words = []
        for r in result:
            if r not in stop_words_set:
                new_words.append(r)
        return new_words

    三、 构建词袋空间VSM(vector space model)

    接下来是构建词袋空间,我们的步骤如下
    1. 将所有文档读入到程序中,再将每个文档切词。
    2. 去除每个文档中的停用词。
    3. 统计所有文档的词集合(sk-learn有相关函数,但是我知道能对中文也使用)。
    4. 对每个文档,都将构建一个向量,向量的值是词语在本文档中出现的次数。
    这举个例子,假设有两个文本,1.我爱上海,我爱中国2.中国伟大,上海漂亮
    那么切词之后就有一下词语上海中国伟大漂亮,(逗号也可能被切词)。
    再假设停用词是我 ,,那么去除停用词后,剩余的词语就是
    上海中国伟大漂亮
    然后我们对文档1和文档2构建向量,那么向量将如下:

    文本

    上海
    中国
    伟大
    漂亮

     

    代码如下:

    def get_all_vector(file_path,stop_words_set):
        names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
        posts = [ open(name).read() for name in names ]
        docs = []
        word_set = set()
        for post in posts:
            doc = del_stop_words(post,stop_words_set)
            docs.append(doc)
            word_set |= set(doc)
            #print len(doc),len(word_set)
    
        word_set = list(word_set)
        docs_vsm = []
        #for word in word_set[:30]:
            #print word.encode("utf-8"),
        for doc in docs:
            temp_vector = []
            for word in word_set:
                temp_vector.append(doc.count(word) * 1.0)
            #print temp_vector[-30:-1]
            docs_vsm.append(temp_vector)
    
        docs_matrix = np.array(docs_vsm)
    1. 在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]],我们尽可能将其放入到numpy的array或者matrix中方便下面TF-IDF的计算。

    四、 将单词出现的次数转化为权值(TF-IDF)

    换句话说,我们的vsm保存的本来已经是向量的形式,我们为什么还需要TF-IDF的形式呢?我认为这就是为了将单词出现的次数转化为权值。
    关于TF-IDF的介绍可以参考网上的文章:
    1. 基本文本聚类方法
    2. TF-IDF百度百科
    3. TF-IDF维基百科英文版(需要FQ)

    这里需要注意的是关于TF(term frequency)的计算,关于IDF(Inverse document frequency)的计算,我看公式基本上都是一样的:
    逆向文件频率(inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到:

    idf(t,D)=log(N∣d∈D,t∈d∣)

    本公式用LaTex编辑,推荐一个令人惊叹的网站:Detexify
    其中
    N:语料库中的文件总数
    ∣d∈D,t∈d∣:包含词语的文件数目(即的文件数目)如果该词语不在语料库中,就会导致分母为零,因此一般情况下使用作为分母。

    然而百度百科以及网上大部分关于TF的介绍其实是有问题的,TF-IDF百度百科中说词频(term frequency,TF)指的是某一个给定的词语在该文件中出现的频率,那么很明显这个计算公式就为:

    tfi,j=ni,j∑knk,j

    然而这种计算方式常常会导致TF过小,其实TF-IDF并不是只有一种计算方式,而是多种,这个时候就体现出维基百科的威力了,具体的关于TF-IDF的介绍还是要参照维基百科。

    如果不熟悉numpy,可以参考numpy官方文档

    column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
    column_sum = np.array(column_sum)
    column_sum = docs_matrix.shape[0] / column_sum
    idf =  np.log(column_sum)
    idf =  np.diag(idf)
    # 请仔细想想,根绝IDF的定义,计算词的IDF并不依赖于某个文档,所以我们提前计算好。
    # 注意一下计算都是矩阵运算,不是单个变量的运算。
    for doc_v in docs_matrix:
        if doc_v.sum() == 0:
            doc_v = doc_v / 1
        else:
            doc_v = doc_v / (doc_v.sum())
        tfidf = np.dot(docs_matrix,idf)
        return names,tfidf

    现在我们拥有的矩阵的性质如下,

    • 列是所有文档总共的词的集合。
    • 每行代表一个文档。
    • 每行是一个向量,向量的每个值是这个词的权值。

    五、 用K-means算法进行聚类

    到这个时候,我们可以使用kmeans算法进行聚类,对kmeans算法来说,它看到已经不是文本了,只是矩阵而已,所以我们用的也是通用的kmeans算法就可以了。
    关于kmeans的介绍可以见于如下的文章:
    1. 基本Kmeans算法介绍及其实现
    2. K-means百度百科
    3. 浅谈Kmeans聚类
    所不同的是,在大部分的文本聚类中,人们通常用余弦距离(很好的介绍文章)而不是欧氏距离进行计算,难道是因为稀疏矩阵的原因,我并不太明白。

    下面的代码来自《机器学习实战》第十章的代码:

    def gen_sim(A,B):
        num = float(np.dot(A,B.T))
        denum = np.linalg.norm(A) * np.linalg.norm(B)
        if denum == 0:
            denum = 1
        cosn = num / denum
        sim = 0.5 + 0.5 * cosn
        return sim
    def randCent(dataSet, k):
        n = shape(dataSet)[1]
        centroids = mat(zeros((k,n)))#create centroid mat
        for j in range(n):#create random cluster centers, within bounds of each dimension
            minJ = min(dataSet[:,j]) 
            rangeJ = float(max(dataSet[:,j]) - minJ)
            centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
        return centroids
    
    def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
        m = shape(dataSet)[0]
        clusterAssment = mat(zeros((m,2)))#create mat to assign data points 
                                          #to a centroid, also holds SE of each point
        centroids = createCent(dataSet, k)
        clusterChanged = True
        counter = 0
        while counter <= 50:
            counter += 1
            clusterChanged = False
            for i in range(m):#for each data point assign it to the closest centroid
                minDist = inf; 
                minIndex = -1
                for j in range(k):
                    distJI = distMeas(centroids[j,:],dataSet[i,:])
                    if distJI < minDist:
                        minDist = distJI; 
                        minIndex = j
                if clusterAssment[i,0] != minIndex: 
                    clusterChanged = True
                clusterAssment[i,:] = minIndex,minDist**2
            #print centroids
            for cent in range(k):#recalculate centroids
                ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
                centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean 
        return centroids, clusterAssment

    六、 总结

    基本上到这里为止,一个可用的中文文本聚类工具已经完成了,github项目地址
    其效果到底怎么样呢?

    我自己有一些未分类的文章属于人生感悟(羞羞脸)类别的共有182篇,在切词以及去除停用词之后,共得到13202个词语,我设置K=10,嗯,效果并不是太好,当然可能有一下原因:

    • 文档本身已经属于高度分类的了,基于词频的聚类并不能发现关于这些文章间的细微的区别。
    • 算法需要优化,可能有些地方可以设置修改一下。

    总之,在学习若干天机器学习后,第一次实践之旅算是结束了。

    本文转载自:http://blog.csdn.net/likeyiyy/article/details/48982909

    转载于:https://www.cnblogs.com/zhuimengzhe/p/7818336.html

    展开全文
  • pass的增量聚类,这里我们以前边分类技术中的语料“运动”类别作为聚类的语料,原因是这份语料不是很纯,抽取出的关键词和“农业”类很相关同时还跟“教育”类相关,我们在这里使用增量聚类先把“运动”类下的文本做...
  • 目录二、KMeans 聚类2.1 加载数据集2.2 数据清洗2.3 文本向量化2.4 文本聚类2.5 关键词展示2.6 判定最佳聚类数参考文档 这第一篇内容中,我们介绍了 LDA 主题模型,这一篇,我们将介绍经典的 KMeans 聚类算法在文本...
  • 查看百度搜索中文文本聚类我失望的发现,网上竟然没有一个完整的关于Python实现的中文文本聚类(乃至搜索关键词python 中文文本聚类也是如此),网上大部分是关于文本聚类的Kmeans聚类的原理,Java实现,R语言实现,...
  • 1.TF-IDF昨天给大家演示简单的文本聚类,但要给每个聚类再提取一两个关键词用于表示该聚类。我们还是用TFIDF算法来做,因为这是比较简单的提取特征算法,不过这里的TF是指某词在本聚类内所有文章的词频,而不是本...
  • 'part_of_speech_tags'), output_key='semantic_dependencies') 注意流水线的第一级管道是一个普通的Python函数 split_sentence,用来将文本拆分为句子。而input_key和output_key指定了这些管道的连接方式,你可以...
  • 目前,用于文本关键词提取的主要方法有四种:基于TF-IDF的关键词抽取、基于TextRank的关键词抽取、基于Word2Vec词聚类的关键词抽取,以及多种算法相融合的关键词抽取。笔者在使用前三种算法进行关键词抽取的学习过程...
  • 昨天给大家演示简单的文本聚类,但要给每个聚类再提取一两个关键词用于表示该聚类。我们还是用TFIDF算法来做,因为这是比较简单的提取特征算法,不过这里的TF是指某词在本聚类内所有文章的词频,而不是本文章内出现...
  • [python] 使用Jieba工具中文分词及文本聚类概念

    万次阅读 多人点赞 2015-12-11 02:38:17
    这篇文章主要是爬取百度5A景区摘要信息,再利用Jieba分词工具进行中文分词,最后提出文本聚类算法的一些概念知识。一. Selenium爬取百度百科摘要 二. Jieba中文分词 1.安装及入门介绍 2.添加自定义词典 3.关键词提取...
  • 比较基于同义词词林等外部知识库的文本扩展策略,利用Word2vec训练微博语料,并构建微博上下文相关词词表,通过种子词表和微博标签信息去扩展微博文本流中的关键词,最后提出了提取微博文本关键词及区分词向量中相似...
  • 鬼吹灯文本挖掘1:jieba分词和CountVectorizer向量化鬼吹灯文本挖掘2:wordcloud 词云展示鬼吹灯文本挖掘3:关键词提取和使用sklearn 计算TF-IDF矩阵鬼吹灯文本挖掘4:LDA模型提取文档主题 sklearn LatentDirichlet...
  • [python] 基于k-means和tfidf的文本聚类代码简单实现

    万次阅读 多人点赞 2016-01-08 02:52:26
    使用jieba结巴分词对文本进行中文分词,同时插入字典关于关键词; 3.scikit-learn对文本内容进行tfidf计算并构造N*M矩阵(N个文档 M个特征词); 4.再使用K-means进行文本聚类(省略特征词过来降维过程); 5.最后对...
  • 文本关键词提取算法

    2013-07-11 21:34:34
    昨天给大家演示简单的文本聚类,但要给每个聚类再提取一两个关键词用于表示该聚类。我们还是用TFIDF算法来做,因为这是比较简单的提取特征算法,不过这里的TF是指某词在本聚类内所有文章的词频,而不是本文章内出现...
  • 前言 关键词提取就是从文本里面把跟这篇...因此,关键词在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用,它不仅是进行这些工作不可或缺的基础和前提,也是互联网上信息建库的一项重要工作。 关键词抽取从...
  • 为此,提出了一种基于词语关联度的相似度计算算法,对简单文档集执行关联规则算法,得出基于关键词的关联规则,并根据这些规则求得词语关联度矩阵,然后由权重对文本进行文本特征向量表示,最后借助于关联度矩阵和...
  • 阵的高维性、稀疏性等特点,文本的每一个类别聚类时限定于所选关键词的一个子集, 因此本文在每一个聚类簇上根据变量对聚类结果贡献的重要程度赋予其不同的权值,重 要的变量赋予较大的权值,可以有效地解决文本数据...

空空如也

空空如也

1 2 3 4 5 ... 11
收藏数 204
精华内容 81
关键字:

文本关键词聚类