一、中文文本处理流程：
1去除非中文字符
2.去除停用词(注意：现在网上有一些公开的停用词库,例如哈工大停用词表、四川大学机器智能实验室停用词库等 )
3.分词与词性标记(后面可以根据词性，指定去掉副词，名词，形容词等)
二、示例代码：
#运用jieba进行分词和词性标注
words_lst=pseg.cut(chinese_only)
#去除停用词 存储分词后结果
words=[]
for word,flag inwords_lst:
if  word not in stop_words and flag in ['v' ,'n']:
words.append(word)
proc_text=''.join(words)
本人长期关注AI算法与最新应用,NLP/CNN/LSTM/TRANSFORMER/BERT
欢迎关注本人主页《AI工匠Book》，共同探讨AI
NLP更多实战案例代码：https://blog.csdn.net/weixin_37479258/article/details/99349203​blog.csdn.net
————————————————
CSDN博主「AI工匠book」的原创文章，遵循CC 4.0 by-sa版权协议

今天听了李彦宏在百度2007世界大会上的演讲，其中一个“信息过滤”的词引起了我的思考。在初中的时候我们就开始在自己的一些文章里用“信息爆炸”来形容当时的社会。是的，计算机和网络的普及使得我们每天生活在一个信息极大的环境中。有的人会用“快节奏”来形容都市的生活，这个快不单单是速度上的快，而很大程度上是在描述信息更新换代的变化过程。人就好比一个信息的接收终端，现在我们有百度，Google和Yahoo等很多的搜索引擎，这样我们获取信息其实并不是一件太难的事情，起码比以前靠单一被动方式获取信息更有主动性。但在巨大的信息库检索我们真正需要的信息就是一件非常困能的事情。信息过滤就非常必要了，现在的搜索引擎已经能按搜索者要求去查找相关的资料，可是很难在短时间内得到自己想要的正确的。

一 序

  本文属于NLP学习笔记系列。

二 停用词

对于NLP的应用，我们通常将停用词、出现频率很低的词过滤掉。

关于停用词词典，可以看下之前的： 文本预处理与停用词

这个主要是对业务影响不大，不影响分析，类似于特征筛选的过程。

要考虑自己的应用场景。

case：一些形容词通常会过滤掉，但是在情感分析中表达语气要保留。

自己会做修改。

三 词的标准化

  这块就是英文的。举例：went,go,going  时态不同，还有单复数，比较级等等。

  涉及技术：

   词干提取（stemming）是抽取词的词干或词根形式（不一定能够表达完整语义）

  词形还原（lemmatization），是把一个任何形式的语言词汇还原为一般形式（能表达完整语义）

  中文不涉及，所以就不看了。感兴趣的可以看看porter stemmer.

最近处理中文数据集经常用到jieba，记录一下遇到的问题。
1.分词
最常用的就是jieba.cut(text)
一般还会使用jieba.posseg进行词性过滤
词性表：

Ag


形语素


形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。


a


形容词


取英语形容词 adjective的第1个字母。


ad


副形词


直接作状语的形容词。形容词代码 a和副词代码d并在一起。


an


名形词

具有名词功能的形容词。形容词代码 a和名词代码n并在一起。

b


区别词

取汉字“别”的声母。

c


连词

取英语连词 conjunction的第1个字母。

dg


副语素

副词性语素。副词代码为 d，语素代码ｇ前面置以D。

d


副词

取 adverb的第2个字母，因其第1个字母已用于形容词。

e


叹词

取英语叹词 exclamation的第1个字母。

f


方位词

取汉字“方”

g


语素

绝大多数语素都能作为合成词的“词根”，取汉字“根”的声母。

h


前接成分

取英语 head的第1个字母。

i


成语

取英语成语 idiom的第1个字母。

j


简称略语

取汉字“简”的声母。

k


后接成分

 

l


习用语

习用语尚未成为成语，有点“临时性”，取“临”的声母。

m


数词

取英语 numeral的第3个字母，n，u已有他用。

Ng


名语素

名词性语素。名词代码为 n，语素代码ｇ前面置以N。

n


名词

取英语名词 noun的第1个字母。

nr


人名

名词代码 n和“人(ren)”的声母并在一起。

ns


地名

名词代码 n和处所词代码s并在一起。

nt


机构团体

“团”的声母为 t，名词代码n和t并在一起。

nz


其他专名

“专”的声母的第 1个字母为z，名词代码n和z并在一起。

o


拟声词

取英语拟声词 onomatopoeia的第1个字母。

p


介词

取英语介词 prepositional的第1个字母。

q


量词

取英语 quantity的第1个字母。

r


代词

取英语代词 pronoun的第2个字母,因p已用于介词。

s


处所词

取英语 space的第1个字母。

tg


时语素

时间词性语素。时间词代码为 t,在语素的代码g前面置以T。

t


时间词

取英语 time的第1个字母。

u


助词

取英语助词 auxiliary

vg


动语素

动词性语素。动词代码为 v。在语素的代码g前面置以V。

v


动词

取英语动词 verb的第一个字母。

vd


副动词

直接作状语的动词。动词和副词的代码并在一起。

vn


名动词

指具有名词功能的动词。动词和名词的代码并在一起。

w


标点符号

 

x


非语素字

非语素字只是一个符号，字母 x通常用于代表未知数、符号。

y


语气词

取汉字“语”的声母。

z


状态词

取汉字“状”的声母的前一个字母。

un


未知词

不可识别词及用户自定义词组。取英文Unkonwn首两个字母。(非北大标准，CSW分词中定义)
2.关键词抽取
需要先引入jieba.analyse
然后可以调用tfidf、textrank算法进行关键词抽取
keywords= jieba.analyse.extract_tags(text, topK=n, allowPOS=())
keywords= jieba.analyse.textrank(text, topK=n, allowPOS=())
其中tfidf是词袋模型，基于统计计算得到的；textrank则是基于图计算抽取词
转载于:https://www.cnblogs.com/danny92/p/10874633.html