精华内容
下载资源
问答
  • 结巴分词功能很强大,但最常用的就是分词切词功能,代码如下: import jieba txt = open("D:\\三国演义.txt", "r", encoding='utf-8').read() words = jieba.cut(txt) # 使用精确模式对文本进行分词 counts = {} # ...

    结巴分词功能很强大,但最常用的就是分词切词功能,代码如下:

    import  jieba
    
    txt = open("D:\\三国演义.txt", "r", encoding='utf-8').read()
    words = jieba.cut(txt)     # 使用精确模式对文本进行分词
    counts = {}     # 通过键值对的形式存储词语及其出现的次数
    
    for word in words:
        if  len(word) == 1:    # 单个词语不计算在内
            continue
        else:
            counts[word] = counts.get(word, 0) + 1    # 遍历所有词语,每出现一次其对应的值加 1
            
    items = list(counts.items())#将键值对转换成列表
    items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序
    
    for i in range(15):
        word, count = items[i]
        print("{0:<5}{1:>5}".format(word, count))
    
    展开全文
  • 结巴分词

    2019-05-16 21:28:50
    文章目录1. 结巴包的安装2. 结巴涉及的算法3. 结巴的三种分词模式4....它们的基本用法都大同小异,这里先了解一下结巴分词。 1. 结巴包的安装 pip install jieba 若使用PyCharm,从左上角的File–>Setting–>...


    Python中文分词工具很多,包括盘古分词、Yaha分词、Jieba分词、清华THULAC等。它们的基本用法都大同小异,这里先了解一下结巴分词。

    1. 结巴包的安装

    pip install jieba
    

    若使用PyCharm,从左上角的File–>Setting–>Project:工程名–>Project Interpreter,点击右侧的“+”,在弹出界面的搜索栏中输入“jieba”,Install Package。

    2. 结巴涉及的算法

    结巴中文分词涉及到的算法包括:
    (1) 基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG);
    (2) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合;
    (3) 对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法。

    3. 结巴的三种分词模式

    结巴中文分词支持的三种分词模式包括:
    (1) 精确模式:试图将句子最精确地切开,适合文本分析;
    (2) 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义问题;
    (3) 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

    4. 主要功能

    4.1 分词

    • jieba.cut 方法接受三个输入参数: 需要分词的字符串;cut_all 参数用来控制是否采用全模式;HMM 参数用来控制是否使用 HMM 模型

    • jieba.cut_for_search 方法接受两个参数:需要分词的字符串;是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细
      待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意:不建议直接输入 GBK 字符串,可能无法预料地错误解码成 UTF-8

    • jieba.cut以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator,可以使用 for 循环来获得分词后得到的每一个词语(unicode),或者用

    • jieba.lcut 以及jieba.lcut_for_search 直接返回 list

    • jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器,可用于同时使用不同词典。jieba.dt 为默认分词器,所有全局分词相关函数都是该分词器的映射。

    示例

    # encoding=utf-8
    import jieba
    
    seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
    print("【全模式】: " + "/ ".join(seg_list))  # 全模式
    
    seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
    print("【精确模式】: " + "/ ".join(seg_list))  # 精确模式
    
    seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
    print("【默认模式】: " + "/ ".join(seg_list))
    
    seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
    print("【搜索引擎模式】" + "/".join(seg_list))
    

    4.2 添加自定义词典

    载入词典

    • 开发者可以指定自己自定义的词典,以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力,但是自行添加新词可以保证更高的正确率
    • 用法: jieba.load_userdict(file_name)
      file_name
      为文件类对象或自定义词典的路径
    • 词典格式和 dict.txt 一样,一个词占一行;每一行分三部分:词语、词频(可省略)、词性(可省略),用空格隔开,顺序不可颠倒。file_name 若为路径或二进制方式打开的文件,则文件必须为 UTF-8 编码。
    • 词频省略时使用自动计算的能保证分出该词的词频。

    例如

    云计算 5
    李小福 2 nr
    创新办 3 i
    easy_install 3 eng
    好用 300
    韩玉赏鉴 3 nz
    八一双鹿 3 nz
    台中
    凱特琳 nz
    Edu Trust认证 2000

    没有添加自定义词典

    seg_list = jieba.cut("李小福是创新办主任也是云计算方面的专家") #没有添加自定义词典
    print('输出:' + '/'.join(seg_list))
    

    输出:李小福/是/创新/办/主任/也/是/云/计算/方面/的/专家

    添加自定义词典

    jieba.load_userdict('userdict.txt')   #添加自定义词典
    seg_list = jieba.cut('李小福是创新办主任也是云计算方面的专家')
    print('输出:' + '/'.join(seg_list))
    

    输出:李小福/是/创新办/主任/也/是/云计算/方面/的/专家

    调整词典

    使用 add_word(word, freq=None, tag=None)和 del_word(word) 可在程序中动态修改词典。
    使用 suggest_freq(segment, tune=True) 可调节单个词语的词频,使其能(或不能)被分出来。
    注意:自动计算的词频在使用 HMM 新词发现功能时可能无效。

    代码示例

    print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
    jieba.suggest_freq(('中', '将'), True)    #调节单个词语的词频,使其能(或不能)被分出来
    print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
    
    print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
    jieba.suggest_freq(('台','中'), True)
    print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
    

    如果/放到/post/中/将/出错/。
    如果/放到/post/中/将/出错/。
    [/台/中/」/正确/应该/不会/被/切开
    [/台中/」/正确/应该/不会/被/切开

    • “通过用户自定义词典来增强歧义纠错能力”

    4.3 关键词提取

    #导入关键词提取所要用到的包
    import jieba.analyse
    
    • jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    • sentence 为待提取的文本
    • topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
    • withWeight 为是否一并返回关键词权重值,默认值为 False
    • allowPOS 仅包括指定词性的词,默认值为空,即不筛选
    • jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例,idf_path 为 IDF 频率文件

    代码示例 (关键词提取)
    https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py

    关键词提取所使用逆向文件频率(IDF)文本语料库可以切换成自定义语料库的路径
    用法: jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
    自定义语料库示例https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big
    用法示例https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py

    关键词提取所使用停止词(Stop Words)文本语料库可以切换成自定义语料库的路径
    用法: jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
    自定义语料库示例https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
    用法示例https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py

    关键词一并返回关键词权重值示例
    用法示例https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py

    4.4 词性标注

    • jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器,tokenizer参数可指定内部使用的jieba.Tokenizer 分词器,jieba.posseg.dt 为默认词性标注分词器。
    • 标注句子分词后每个词的词性,采用和 ictclas 兼容的标记法。

    用法示例

    import jieba.posseg as pseg
    words = pseg.cut("我爱打篮球")
    for word, flag in words:
        print('%s %s' % (word, flag))
    

    我 r
    喜欢 v
    篮球 n

    参考

    https://github.com/fxsjy/jieba/issues/14
    https://www.jianshu.com/p/1d525c86515d
    https://www.jianshu.com/p/e8b5d01ca073
    https://blog.csdn.net/vivian_ll/article/details/61204728

    展开全文
  • 压缩文件之中包含了结巴中文分词的说明文档,以及Java,Python,C++的使用示例。对于自然语言处理(NLP)有帮助。
  • 本文主要介绍Python中,结巴分词(jieba)的使用相关介绍文档,使用结巴分词(jieba)进行分词的方法,以及相关的示例代码。 原文地址:https://www.cjavapy.com/article/744/

    本文主要介绍Python中,结巴分词(jieba)的使用相关介绍文档,使用结巴分词(jieba)进行分词的方法,以及相关的示例代码。

    原文地址:https://www.cjavapy.com/article/744/

    展开全文
  • 本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考,具体如下: 结巴分词工具的安装及基本用法,前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要...
  • 本文主要介绍Python中,使用结巴分词(jieba)进行并行分词的方法,以及相关的示例代码。 原文地址:Python 使用结巴分词(jieba)并行分词及示例代码

    本文主要介绍Python中,使用结巴分词(jieba)进行并行分词的方法,以及相关的示例代码。
    原文地址:Python 使用结巴分词(jieba)并行分词及示例代码

    展开全文
  • 本文主要介绍Python,使用结巴分词(jieba)通过命令行方式调用,进行分词的方法,以及相关的示例代码。 原文地址:Python 使用结巴分词(jieba)调用命令行分词及示例代码
  • python中文分词结巴使用示例

    千次阅读 2017-01-17 21:09:58
    结巴是开源库,中文分词,使用简单,可以添加用户字典 https://github.com/fxsjy/jieba使用示例from xml.etree import ElementTree import re import jieba import jieba.posseg as psegjieba.load_userdict("dict....
  • python中文分词工具:结巴分词jieba

    千次阅读 2015-04-27 15:39:36
    结巴分词jieba 特点  支持三种分词模式:  精确模式,试图将句子最精确地切开,适合文本分析;  全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;  搜索引擎模式,在精确模式...
  • 结巴分词使用方法

    万次阅读 热门讨论 2016-11-23 18:50:22
     结巴分词包下载地址:http://download.csdn.net/detail/robin_xu_shuai/9691188 1.安装  将其解压到任意目录下,然后打开命令行进入该目录执行:python setup.py install 进行安装 2.测试  安装完成后,...
  • 结巴分词详细讲解

    千次阅读 2019-07-30 13:57:06
    结巴”中文分词:做最好的 Python 中文分词组件。 特点 支持三种分词模式: 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 精确模式:试图将句子最精确地切开,适合文本分析...
  • 本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考,具体如下:结巴分词工具的安装及基本用法,前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要说...
  • 结巴分词功能总结

    千次阅读 2017-03-10 19:30:47
    下载安装结巴分词 Python 2.x 下的安装 全自动安装 :easy_install jieba 或者 pip install jieba 半自动安装 :先下载http://pypi.python.org/pypi/jieba/ ,解压后运行python setup.py install 手动安装 :将...
  • 自然语言处理之结巴分词 一、介绍jieba “结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation...
  • 结巴中文分词源码分析(2) 作者:白宁超 2016年11月23日16:49:36 摘要:结巴中文分词的特点如下:支持三种分词模式:(精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语...
  • 结巴分词原理及使用

    万次阅读 多人点赞 2018-12-25 10:49:04
    目前常用的分词工具很多,包括盘古分词、Yaha分词、Jieba分词、清华THULAC等,现在项目使用的分词方法是结巴分词,本次来介绍一下。 安装就不说了可以直接pip install jieba或者pycharm的setting中添加即可。通过 ...
  • 结巴分词和一些相关功能 使用一些结巴的基本分词功能以及json文件的读写。 jieba分词库和python其他库的安装一样,本人推荐用pip安装,或者根据使用的是pycharm或者anconda来安装,不推荐在官网上下载安装包,因为...
  • (3)中文分词——Python结巴分词

    千次阅读 2016-03-18 22:40:03
    结巴分词器介绍: jieba 分词下载地址:https://pypi.python.org/pypi/jieba 特点: 1、支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描...
  • 导语        之前在做自己的个人的“搜索引擎...为了能够在较短时间内完成好这个项目,所以就借用到了第三方boost库中的分词工具——结巴分词来完成这个分词模块的功能了。Boost...
  • Python 结巴分词模块

    2016-09-21 16:01:00
    原文链接:...utm_medium=referral PS:结巴分词支持Python3 源码下载的地址:https://github.com/fxsjy/jieba 演示地址:http://jiebademo.ap01.aws.af.cm/ 特点 1,支持三种分词模式: ...
  • 结巴中文分词基本操作(3) 作者:白宁超 2016年11月23日16:49:36 摘要:结巴中文分词的特点如下:支持三种分词模式:(精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 959
精华内容 383
关键字:

结巴分词示例