前言

        分词与词向量训练是NLP的基础任务。目前，很多基础教程基于jieba和gensim3.8构建词向量。本人想写一个新一点版本的教程。故采用了百度lac分词工具以及4.1.2版本的gensim。同时，在实际应用的过程中，待分词的文本都会具有一定规模。因此，附加了pandas读入文本的批量分词处理。

本文介绍通过anaconda创建虚拟环境、安装依赖，通过百度LAC工具对文本进行分词，采用gensim工具获得词向量。

目录

前言

一、安装基础环境以及依赖

二、使用步骤

1.引入库

2.读入数据

3.构建LAC分词器

4.分批次对数据进行分词

5.采用gensim中word2vec方法进行词向量的训练

 6.调用训练好的词向量

总结

一、安装基础环境以及依赖

conda create -n env_name python = 3.7
conda activate env_name
pip install pandas
pip install lac
pip install matplotlib
pip install jupyter notebook
# pip install pytorch == 1.7.1 cpuonly -c pytorch
pip install gensim
pip install tqdm

 env_name 填入自己想起的anaconda环境名称

anaconda环境的激活方式，conda activate env_name 

由于历史版本和操作环境不同可能为activate (windows) 或 source activate (linux)

 pip install / conda install package 可安装需要安装的环境依赖，package为包名

二、使用步骤

1.引入库

import pandas as pd
from tqdm import tqdm
from LAC import LAC
from gensim.models import word2vec
import time

2.读入数据

all_train = pd.read_csv('./dataset/train.csv')
all_train['sentence'] = all_train['sentence'].str.strip()
##这里假定 all_train['sentence'] 是待分词的句子列

3.构建LAC分词器，读取停用词

lac = LAC(mode = 'seg')
#lac.load_custonization(vocab, sep = '^')

#停用词设置
stopwords = set()
file = open("stopwords.txt", 'r', encoding = 'utf-8'):
for line in file:
    stopwords.add(line.strip())
file.close()

百度LAC分词器有 seg 、lac、rank三种模式：

seg模式：单纯分词 

lac模型：显示分词、词性

rank模式： 显示词分词、词性、词重要性（如问答检索场景） 

可以采用 lac.load_custonization方法加载个性化词典配置，具体功能可参考：GitHub - baidu/lac: 百度NLP：分词，词性标注，命名实体识别，词重要性

4.分批次对数据进行分词

def get_cutwords(line):
    sen = lac.run(line) #采用lac进行分词，返回list
    sen = [i for i in sen if i not in stopwords]
    return " ".join(sen)

all_train['cut'] = ''
n = 10
epcho = int(len(all_train) / n)
print('length of file', len(all_train))

for i in tqdm(range(n)):
    all_train['cut'][i*epcho: (i+1)*epcho] = all_train['sentence'][i*epcho: (i+1)*epcho].apply(get_cutwords)

all_train['cut'][n*epcho:] = all_train['sentence'][n*epcho:].apply(get_cutwords)

all_train['cut'].to_csv('./w2v_trainset/train.txt', header = None, encoding = 'utf-8', index = False)

此处为了防止文件太大考虑内存受限，分片切分然后合并，如果资源足够无需这样的处理。

如果文件还是太大可以采用多线程的方式调用 get_cutwords 方法

5.采用gensim中word2vec方法进行词向量的训练

sentences = word2vec.LineSentence('./w2v_trainset/train.txt')
print('sentence loaded')

num_feature = 300
min_word_counts = 7
num_worker = 8
context = 7
downsampling = 1e-3
model = word2vec.Word2Vec(sentences, 
                          workers = num_worker, 
                          vector_size = num_feature,
                          min_count = min_word_counts,
                          sg = 1,
                          window = context,
                          sample = downsampling)
print('trained')
model.save('./w2v_model/allw2v.model')
print('finish')

 6.调用训练好的词向量

from gensim.models import KeyedVectors
word2vec = KeyedVectors.load('./w2v_model/allw2v.model')
vocab = list(word2vec.wv.key_to_index)

test_string = '今天心情真好啊'
cut_result = lac.run(test_string)
cut_result = [i for i in cut_result if i in vocab]
#w2v_result = [word2vec.wv[i] for i in cut_result]
#w2v_result = [word2vec.wv[cut_result]]
sen_vec = np.mean(word2vec.wv[cut_result], axis = 0)

gensim中的word2vec文档可见一下链接：（本文采用gensim版本为4.1.2）

 models.word2vec – Word2vec embeddings — gensim

总结

以上就是今天要讲的内容，本文简介了采用百度LAC和gensim的word2vec工具，构建词向量的流程。

jieba分词词性对照表 

LAC分词词性对照表

词性和专名类别标签集合如下表，其中词性标签24个（小写字母），专名类别标签4个（大写字母）。这里需要说明的是，人名、地名、机名和时间四个类别，在上表中存在两套标签（PER / LOC / ORG / TIME 和 nr / ns / nt / t），被标注为第二套标签的词，是模型判断为低置信度的人名、地名、机构名和时间词。开发者可以基于这两套标签，在四个类别的准确、召回之间做出自己的权衡。

两者对比：

一、背景

笔者2年前写过一篇《PHP使用elasticsearch搜索安装及分词方法》的文章，记录了使用ES的分词的实现步骤，最近又需要用到分词，在网上发现一个百度的中文分词项目，中文词法分析（LAC） ，决定使用一番，并把这次试用通过文章记录下来，给有需要的朋友一个参考吧

中文词法分析LAC 支持Python、C++、JAVA、Android 用接口调用，其他语言的话就需要开发者自己自行封装了，笔者这次决定使用Python进行实验，在文中也会把相关代码给贴出来，给大家作为一个参考

二 安装LAC

LAC2.0 的安装方式非常简单，直接使用pip安装即可，但是国内访问pip软件源可能比较慢，因此我们可以用上加速地址，参考命令如下所示

pip3 install lac  -i https://mirror.baidu.com/pypi/simple

命令执行完成之后，返回的信息如下所示

安装注意事项

1. LAC有1.0 和2.0 ，在码云中显示的是1.0，但是并没有特意标明，1.0 的版本安装过程非常比较麻烦，安装过程也容易出错，建议大家可以去github查看LAC 2.0的安装方式
2. 如果你是windows系统想用wsl去安装，不要使用WSL1.0，因为他不支持LAC的依赖组件paddle，也就没办法正确安装LAC了
3. LAC 安装需要注意你的Python版本，不能大于3.7,笔者做实验的时候使用的Python3.8版本，结果报了如下错误

三、 运行DEMO

为了验证是否已经将LAC安装成功，这里笔者运行了一下DEMO示例代码，首先新建了一个代码文件lac.py，然后将demo代码复制进去，代码如下所示

# -*- coding: utf-8 -*-
from LAC import LAC

# 装载分词模型
lac = LAC(mode='seg')

# 单个样本输入，输入为Unicode编码的字符串
text = u"大王叫我来巡山"
seg_result = lac.run(text)
print(seg_result)

# 批量样本输入, 输入为多个句子组成的list，平均速率会更快
texts = [u"山里有个庙", u"庙里有个老和尚跟一个小和尚"]
seg_result = lac.run(texts)
print(seg_result)

接着使用Python运行这个文件，执行命令如下

python lac.py

命令执行之后，返回的分词词汇标注信息如下所示

从上面图片可以看到，LAC已经将一段文本进行了分词，说明我们安装LAC成功，

LAC 除了可以进行分词之外，还可以用来做词性标注与实体识别,我们接着继续运行demo代码，笔者首先新建了一个代码文件lac2.py，然后将用来做词性标注和实体识别的demo代码复制进去，代码如下所示

from LAC import LAC

# 装载LAC模型
lac = LAC(mode='lac')

# 单个样本输入，输入为Unicode编码的字符串
text = u"我想涨工资"
lac_result = lac.run(text)

print(lac_result)

# 批量样本输入, 输入为多个句子组成的list，平均速率更快
texts = [u"汤青松长得好帅", u"我喜欢做安全开发工程师"]
lac_result = lac.run(texts)

print(lac_result)

接着使用Python运行这个文件，执行命令如下

python lac2.py

命令执行之后，返回的分词词汇标注信息如下所示

在上图中我们可以看到，这次LAC不仅返回了分词结果，还返回另外一个词汇类型的list，笔者粗略的核对了一下，基本都能对应上，比如笔者的名字标识为PER 人名类型，好帅标示为 a 形容词类型

下面是词性和专名类别标签集合，其中我们将最常用的4个专名类别标记为大写的形式：

四、试用感想

LAC是一个非常不错的分词工具，并不是用来直接为业务提供搜索支持，而是作为一个搜索引擎的基础工具；

比如当你想将网站的文章标题用于站内搜索，使用LAC进行了分词，分词之后这些数据你还需要额外的存储，用来作为搜索使用，因为LAC只提供分词功能，所以感觉LAC适合作为分词搜索引擎的一部分，如果你想用来分词搜索站内信息，倒不如ES的那么方便。

笔者也好奇LAC项目的适用场景是什么？从LAC项目的产品口中得知回答如下：

LAC适用场景更多是与实体识别相关的，比如知识图谱，知识问答，信息抽取等，也可以作为其他模型算法的基础工具，因为其分词粒度是以实体作为粒度的，同时兼具实体识别的效果，而在搜索引擎中一般使用的分词粒度会更小一些，或者同时提供多种粒度，如果要面向搜索的分词，还需要用户自行进行微调模型

-

作者：汤青松

日期：2020-07-07