由于中文文本中的单词不是通过空格或者标点符号分割，所以中文及类似语言存在一个重要的“分词” 问题，jieba、SnowNLP(MIT)、pynlpir等都可以完成对中文的分词处理，该文章采用 jieba进行中文分词。
  使用之前，我们需要先下载jieba库，而在Windows下使用pip安装python第三方库的时候，经常会因为墙的原因下载不上第三方的库文件，所以下载方法见我之前文章 Anaconda3安装jieba库和NLTK库。

1、jieba库基本介绍

1.1 jieba库概述

jieba 是一个python实现的分词库，对中文有着很强大的分词能力，我们在使用时通过import jieba 导入 jieba库：

• 中文文本需要通过分词获得单个的词语；
• jieba是优秀的中文分词第三方库，需要额外安装；
• jieba库提供三种分词模式，最简单只需掌握一个函数。

1.2 jieba分词的原理

Jieba分词依靠中文词库：

• 利用一个中文词库，确定汉字之间的关联概率；
• 汉字间概率大的组成词组，形成分词结果；
• 除了分词，用户还可以添加自定义的词组。

1.3 jieba库使用说明

(1)、jieba分词的三种模式

精确模式、全模式、搜索引擎模式：

• 精确模式：把文本精确的切分开，不存在冗余单词。
• 全模式：把文本中所有可能的词语都扫描出来，有冗余。
• 搜索引擎模式：在精确模式基础上，对长词再次切分。

(2)、jieba库常用函数

函数	描述
jieba.cut(txt)	精确模式，返回一个可迭代的数据类型
jieba.lcut(txt)	精确模式，返回一个列表类型，建议使用
jieba.cut(txt,cut_all = True)	全模式，输出文本txt中所有可能单词
jieba.lcut(txt,cut_all = True)	全模式，返回一个列表类型，建议使用
jieba.cut_for_search(txt)	搜索引擎模式
jieba.lcut_for_search(txt)	搜索引擎模式，返回一个列表类型，建议使用
jieba.add_word(txt)	向分词词典中增加新词

2、分词实例

2.1 三种模式实例对比

精确模式：

import jieba
messages = jieba.cut("万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲",cut_all=False)   #精确模式
print ( '【精确模式下的分词:】'+"/ ".join(messages)) 

运行结果：

【精确模式下的分词:】万里长城/ 是/ 中国/ 古代/ 劳动/ 人民/ 血汗/ 的/ 结晶/ 和/ 中国/ 古代/ 文化/ 的/ 象征/ 和/ 中华民族/ 的/ 骄傲

  这里我们需要注意的是，jieba默认模式即为精确模式，所以使用下列表达也是同样的效果，即省略cut_all=False：

import jieba
messages = jieba.cut("万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲")   #默认精确模式
print ( '【精确模式下的分词:】'+"/ ".join(messages)) 

全模式：

import jieba
messages = jieba.cut("万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲",cut_all=True)   #全模式
print ( '【全模式下的分词:】'+"/ ".join(messages)) 

运行结果：

【全模式下的分词:】万里/ 万里长城/ 里长/ 长城/ 是/ 中国/ 古代/ 代劳/ 劳动/ 动人/ 人民/ 血汗/ 的/ 结晶/ 和/ 中国/ 古代/ 文化/ 的/ 象征/ 和/ 中华/ 中华民族/ 民族/ 的/ 骄傲

可以明显看到文本存在冗余单词。

搜索引擎模式：

import jieba
messages = jieba.cut_for_search("万里长城是中国古代劳动人民血汗的结晶和中国古代文化的象征和中华民族的骄傲")   #搜索引擎模式
print ( '【搜索引擎模式下的分词:】'+"/ ".join(messages)) 

运行结果：

【搜索引擎模式下的分词:】万里/ 里长/ 长城/ 万里长城/ 是/ 中国/ 古代/ 劳动/ 人民/ 血汗/ 的/ 结晶/ 和/ 中国/ 古代/ 文化/ 的/ 象征/ 和/ 中华/ 民族/ 中华民族/ 的/ 骄傲

2.2 调整词频

  有的时候，如果按照jieba正常分词，会把我们不希望分开的词语给分开，这个时候就会改变句子的意思。就如以下例子，我们希望 不喜欢 是一个词，不被分开：

import jieba
messages = jieba.cut("我不喜欢下雨天刮风")   #默认精确模式
print ( "/ ".join(messages)) 

运行结果：

我/ 不/ 喜欢/ 下雨天/ 刮风

  这个时候，我们可以使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来：

import jieba
messages = jieba.cut("我不喜欢下雨天刮风")   #默认精确模式
jieba.suggest_freq(('不喜欢'),tune=True)
print ( "/ ".join(messages)) 

运行结果：

我/ 不喜欢/ 下雨天/ 刮风

2.3 分词后词性标注

  分词成功以后，我们通常需要提取关键词，而关键词通常是名词、动名词或者名词的词组，所以在提取关键词之前，我们可以先对提取出来的词语做一下词性标注，以便于后续分类。

import jieba.posseg as contents    #词性标注
messages = contents.cut('万里长城是中国古代劳动人民血汗的结晶')
for message in messages:    #使用for循环逐一获取划分后的词语
    print(message.word,message.flag)

运行结果：

万里长城 ns
是 v
中国 ns
古代 t
劳动 vn
人民 n
血汗 n
的 uj
结晶 n

何为中文分词,指的是将一个汉字序列切分成一个个单独的词。

这里我们推荐使用jieba分词，它是专门使用python语言开发的分词系统,占用资源较少，常识类文档的分词精度较高。

我们可以去网上下载jieba的压缩包,然后解压，进入目录，找到setup.py这个文件，然后可以可以使用下面两种半自动方式去安装

方式一: 进入cmd命令窗口，输入: python setup.py install jieba

方式二: 进入cmd命令窗口，输入:pip install jieba

然后我们就可以进行下面的中文文本分词的操作了

首先我们把需要分词的文件train_corpus_small拷贝到项目中来:

然后我们创建一个demo3.py对其进行分词操作

# -*- encoding:utf-8 -*-
import sys
import jieba
import os
# 配置UTF-8的环境
reload(sys)
sys.setdefaultencoding('utf-8')
# 写入文件
def savefile(savepath, content):
    fp = open(savepath, "wb")
    fp.write(content)
    fp.close()
# 读取文件
def readfile(path):
    fp = open(path, "rb")
    content = fp.read()
    fp.close()
    return content
# 获取路径名
seg_path = "train_corpus_seg/"
corpus_path = "train_corpus_small/"
catelist = os.listdir(corpus_path)
# 获取每个目录下的所有文件
for mydir in catelist:
    # 拼接出分类子目录的路径
    class_path = corpus_path + mydir + "/"
    # 拼出分词后的预料分类目录
    seg_dir = seg_path + mydir + "/"
    # 判断目录是否为空
    if not os.path.exists(seg_dir):
        # 创建目录
        os.makedirs(seg_dir)
    # 获取类别目录下的所有目录
    file_list = os.listdir(class_path)
    # 将类别下面的所有目录遍历出来
    for file_path in file_list:
        # 拼出文件名全路径
        fullname = class_path + file_path
        # 读取文件内容
        content = readfile(fullname).strip()
        # 将换行替换掉
        content = content.replace("\r\n", "").strip()
        # 为文件内容分词
        content_seg = jieba.cut(content)
        # 将处理后的文件保存到分词后的语料目录
        savefile(seg_dir + file_path, "".join(content_seg))
print "读写完毕"

运行前文件格式如下:

分词后生成的目录及格式如下: