一. 导读
文本分析主要用来分词分析，情感分析以及主题分析,参考 知乎用户的文章，他从方法代码上讲解了中英文分词(wordcloud,jieba)，中英文情感分析(textblob,snownlp)，以及主题分析(LDA).
应某位同学的要求，要处理文档里的分词，主题的统计功能，故本人做了个通用的小脚本,功能如下:
1. 词频取词，并生成气泡图
2. 重要性取词，并生成气泡图
3. 主题取词, 并导出html格式(好吧，pyLDAvis这个包有问题，没法导出来..,可以在notebook里面看)
接下来进行举例和分析
程序功能界面
二. 功能应用和分析
1.生成词频并生成气泡图
python term.py -type 1 -n 8 baidu.txt
结果如下:我们看到如下8个高词频词汇 :Baidu,Search,Users,Internet...... ，而在图中节点颜色越深，越大，词频越高，我们可以分析出，这篇文章应该是以用户使用搜索引擎的文章,没错----------就是百度的自我介绍:Baidu | Investors | Company Overview
技术分析:在Python ---网易云音乐评论自动云图生成器 这篇文章我使用的是pynlpir分词，而这次使用的jieba分词,注意:结巴分词并没有提供去除停用词的功能，这里要手动实现
气泡图一开始使用matplotlib画,但是很丑陋(调试了很久)，这里使用网络格式画.
2. 生成重要词并生成气泡图
python term.py -type 2 -n 5 baidu.txt
结果如下:前5个关键词为：Baidu,search,users,Internet,online等.
3. 提取主题词汇:
python term.py -type 3 -topic 3 -topic_word 5  baidu.txt
生成3个主题，每个主题5个词汇，由于文档数太少，这里再加入数据Baidu | Investors |如下：
三. 总结:在代码层面，并没什么可说的，3个模块：命令行处理模块，数据分析模块以及画图模块，这里要注意处理不同数据类型.
jieba分词和pynlpir分词都是不错的分词，jieba分词还提供了更多的功能,对于英文分词，有单独的nltk (结巴分词项目地址：fxsjy/jieba)
文本处理中常用的技术有:特征向量技术: DictVectorizer，CountVectorizer, HashingVectorizer，One-hot Representation，Distributed Representation,word2vec；
降维技术:词根，词性还原，PCA；
拓展词库: TfidfTransformer,TfidfVectorizer;
其他技术：AE，语义网，LDA，聚类等.
四. 文本处理框架：
文本去重->机械压缩->短句删除->分词->停用词处理->生成VSM(Vector Space Model)->PCA-> 聚类-> 显示
文本处理坑很大，毕竟不是这个方向，会用就行了，不必深究；得到的结论也只是参考，也务必深究。
五. 一些资源：

文本分析-预处理：Python文本分析工具NLTK

NLP领域中最常用的一个Python库
开源项目
自带分类、分词等功能
强大的社区支持
pip install nltk

#语料库安装 
import nltk 
nltk.download()



典型文本预处理流程





语料库

nltk.corpus



import nltk
from nltk.corpus import brown # 需要下载brown语料库
# 引用布朗大学的语料库

# 查看语料库包含的类别
print(brown.categories())

# 查看brown语料库
print('共有{}个句子'.format(len(brown.sents())))
print('共有{}个单词'.format(len(brown.words())))



分词tokenize

句子拆分成具有语言语义学上意义的词

英文分词：单词之间是以空格作为自然分界符的

中文分词工具：结巴分词



sentence = "Python is a widely used high-level programming language for general-purpose programming."
tokens = nltk.word_tokenize(sentence) # 需要下载punkt分词模型
print(tokens)

"""
['Python', 'is', 'a', 'widely', 'used', 'high-level', 'programming', 'language', 'for', 'general-purpose', 'programming', '.']
"""

# 安装 pip install jieba
import jieba

seg_list = jieba.cut("欢迎来到小象学院", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("欢迎来到小象学院", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式

"""
全模式: 欢迎/ 迎来/ 来到/ 小象/ 学院
精确模式: 欢迎/ 来到/ 小/ 象/ 学院
"""



词形归一化



词干提取(stemming)

look, looked, looking

词干提取，如将ing, ed去掉，只保留单词主干
影响语料学习的准确度



# PorterStemmer
from nltk.stem.porter import PorterStemmer

porter_stemmer = PorterStemmer()
print(porter_stemmer.stem('looked'))
print(porter_stemmer.stem('looking')) #look

# SnowballStemmer
from nltk.stem import SnowballStemmer

snowball_stemmer = SnowballStemmer('english')
print(snowball_stemmer.stem('looked'))
print(snowball_stemmer.stem('looking'))

# LancasterStemmer
from nltk.stem.lancaster import LancasterStemmer

lancaster_stemmer = LancasterStemmer()
print(lancaster_stemmer.stem('looked'))
print(lancaster_stemmer.stem('looking'))

​           



词形归并(lemmatization)

将单词的各种词形归并成一种形式
from nltk.stem import WordNetLemmatizer # 需要下载wordnet语料库

wordnet_lematizer = WordNetLemmatizer()
print(wordnet_lematizer.lemmatize('cats'))
print(wordnet_lematizer.lemmatize('boxes'))
print(wordnet_lematizer.lemmatize('are'))
print(wordnet_lematizer.lemmatize('went'))

"""
cat
box
are
went
"""

# 指明词性可以更准确地进行lemma
# lemmatize 默认为名词
print(wordnet_lematizer.lemmatize('are', pos='v'))
print(wordnet_lematizer.lemmatize('went', pos='v'))

"""
be
go
"""

​   



词性标注 (Part-Of-Speech)



import nltk

words = nltk.word_tokenize('Python is a widely used programming language.')
print(nltk.pos_tag(words)) # 需要下载 averaged_perceptron_tagger

"""
[('Python', 'NNP'), ('is', 'VBZ'), ('a', 'DT'), ('widely', 'RB'), ('used', 'VBN'), ('programming', 'NN'), ('language', 'NN'), ('.', '.')]
"""



去除停用词

为节省存储空间和提高搜索效率，NLP中会自动过滤掉某些字或词。

中文停用词表： 

• 中文停用词库• 哈工大停用词表• 四川大学机器智能实验室停用词库• 百度停用词列表

使用NLTK去除停用词 

stopwords.words()



from nltk.corpus import stopwords # 需要下载stopwords

filtered_words = [word for word in words if word not in stopwords.words('english')]
print('原始词：', words)
print('去除停用词后：', filtered_words)

"""
原始词： ['Python', 'is', 'a', 'widely', 'used', 'programming', 'language', '.']
去除停用词后： ['Python', 'widely', 'used', 'programming', 'language', '.']
"""

​               



典型的文本预处理流程代码



import nltk
from nltk.stem import WordNetLemmatizer 
from nltk.corpus import stopwords

# 原始文本
raw_text = 'Life is like a box of chocolates. You never know what you\'re gonna get.'

# 分词
raw_words = nltk.word_tokenize(raw_text)

# 词形归一化
wordnet_lematizer = WordNetLemmatizer()
words = [wordnet_lematizer.lemmatize(raw_word) for raw_word in raw_words]

# 去除停用词
filtered_words = [word for word in words if word not in stopwords.words('english')]

print('原始文本：', raw_text)
print('预处理结果：', filtered_words)

"""
原始文本： Life is like a box of chocolates. You never know what you're gonna get.
预处理结果： ['Life', 'like', 'box', 'chocolate', '.', 'You', 'never', 'know', "'re", 'gon', 'na', 'get', '.']
"""


​ 

​ 

​ 

​ 

​ 

​ 

​ 

​                       

​ 

​ 

​ 

​   

https://www.toutiao.com/a6675257491040780804/

 

文本分析是指文本中抽取特征词进行量化以表示文本信息。

文本一般指文字。

它是自然语言处理的一个小分支，自然语言处理还包括语音识别（常见的）等。

目的：

先决条件：将无结构化的原始文本转化为结构化的，计算机可以识别和处理的信息。

优势特点：从而可以利用机器学习，分类聚类等算法，对文本进行分析处理。

关键环节：对文本进行抽象，建立数学模型，用来描述和代替文本。

应用场景：处理后的文本就是高度抽象和特征化的，可以实现广告推荐，舆情监测等。

关键技术：

1、用向量空间模型描述文本。将非结构化文本转化为结构化。

为什么不用词频统计和分词算法，是因为这两种方法得到的特征向量维度非常大，后期矢量处理开销非常大，不利于后期分类、聚类。

主流方法是用特征词来表示文本，特征词必须满足：能识别文本内容、去区分其它文本、个数不能太多、容易实现。

特征词选取后，必须有相应的权值表示不同的影响，最好对其进行排序。

2、特征词选取的四种方式：

用映射或者转换的方法将原始特征变为较少特征。

在原始特征中挑选出具有代表性的特征。

根据专家挑选最优影响力的特征。

利用数学模型，找出最具分类型的特征。这种方式最客观，最精确。

	

文本挖掘，也称为文本数据挖掘，大致相当于文本分析，是指从文本中获取高质量信息的过程。高质量的信息通常是通过设计模式和趋势通过统计模式学习等手段获得的。
文本挖掘计算机程序可从许多商业和开放源码公司和源代码获得。
Commercial
Amenity Analytics——开发基于云的文本分析解决方案，使用自然语言处理和机器学习，从任何非结构化数据的来源获取大规模的见解。
Angoss文本分析通过嵌入式提供实体和主题提取、主题分类、情感分析和文档摘要功能
AUTINDEX -是Saarbrucken应用信息科学研究所开发的一个基于复杂语言学的商业文本挖掘软件包。
Autonomy -文本挖掘，聚类和分类软件
Averbis 提供文本分析，聚类和分类软件，以及术语管理和企业搜索
Basis Technology 提供一套文本分析模块来识别语言，支持在20多种语言中搜索，提取实体，并有效地搜索和翻译实体。
Clarabridge文本分析(文本挖掘)软件，包括自然语言(NLP)，机器学习，集群和分类。提供SaaS，托管和现场文本和情感分析，使公司能够收集，听取，分析，并采取行动，对客户的声音(VOC)从外部(Twitter, Facebook, Yelp!内部资源(呼叫中心notes、CRM、企业数据仓库、BI、调查、邮件等)。
DigitalMR -社会媒体听力和文本+图像分析工具的市场研究
Endeca技术-提供分析和集群非结构化文本的软件。
FICO评分-领先的分析供应商。
General Sentiment -社交智能平台，利用自然语言处理，发现品牌粉丝与传统电视节目粉丝在社交媒体上的亲密关系。独立的文本分析，以获取社会知识库的数十亿主题存储到2004年。
IBM语言软件——用于文本分析的IBM套件(工具和运行时)。
IBM SPSS—Modeler Premium(以前称为IBM SPSS Modeler和IBM SPSS文本分析)的提供者，它包含高级基于nlp的文本分析功能(多语言情感、事件和事实提取)，可以与预测建模结合使用。调查文本分析提供了使用基于nlp的功能对调查响应进行分类的能力，以便进行进一步的分析或报告。
Inxight -提供文本分析、搜索和非结构化可视化技术。(Inxight被SAP AG于2008年收购的Business Objects收购)。
语言计算机公司-文本提取和分析工具，可在多种语言。
Lexalytics -提供一个文本分析引擎，用于社交媒体监控、客户语音、调查分析和其他应用。突出引擎。该软件提供了将非结构化、基于文本的分析输出与结构化数据合并的独特功能，从而为改进的预测模型和关联分析提供额外的预测变量。
LexisNexis -基于广泛的新闻和公司信息内容集提供商业智能解决方案。LexisNexis收购DataOps进行搜索
Linguamatics 提供基于自然语言处理(NLP)的企业文本挖掘和文本分析软件，I2E，用于高价值的知识发现和决策支持。
Luminoso -经过麻省理工学院媒体实验室十多年的自然语言处理(NLP)、机器学习和人工智能研究，开发出企业反馈和文本分析解决方案
Mathematica -为文本对齐、模式匹配、聚类和语义分析提供内置工具。参见Wolfram语言，Mathematica的编程语言。
MATLAB提供文本分析工具箱，用于导入文本数据，将其转换为数字形式，用于机器和深度学习、情绪分析和分类任务
MeaningCloud 以前被称为text talytics:一组文本分析api，以SaaS模式和内部环境提供，完全可定制，以获得最高的精确度，并且由于其SDKs和插件，非常容易集成到任何系统或环境中。
Medallia -提供一个记录系统的调查，社会，文字，书面和在线反馈。
Megaputer Intelligence—从大量文本和结构化数据中获取可操作的知识，包括自然语言处理(NLP)、机器学习、情感分析、实体提取、聚类和分类。
NetOwl -多语言文本和实体分析产品套件，包括实体提取、链接和事件提取、情感分析、地理标记、名称翻译、名称匹配和身份解析等。
PoolParty Semantic Suite允许您开发一个知识图——从而构建并表示您的优先级知识域。高性能的PoolParty服务按照复杂的文本挖掘算法提取实体和术语。
RapidMiner及其文本处理扩展-数据和文本挖掘软件。
SAS - SAS文本挖掘和字谜;用于信息管理的商业文本分析、自然语言处理和分类软件。
Semantria -通过API和Excel插件提供服务。它是文本分析软件Lexalytics的一个分支，但不同之处在于它是通过API和Excel插件提供的，而且它包含了更大的知识库并使用深度学习。
Sketch Engine -一个语料库管理器和分析软件，提供从上传的文本或网络创建文本语料库，包括词性标注和引理或检测一个特定的网站
Smartlogic -信号;内容智能平台包含商业文本分析、自然语言处理、基于规则的分类、本体/分类法建模和用于信息管理的信息可视化软件。
StatSoft -为预测分析解决方案提供了一个可选的扩展。
Sysomos -提供社交媒体分析软件平台，包括文本分析和在线消费者对话的情绪分析。
WordStat -用于分析大量文本数据的QDA Miner的内容分析和文本挖掘附加模块。
Open source
Carrot2 -文本和搜索结果聚类框架。
Coding Analysis Toolkit - CAT是一个免费的、基于web的、开源的文本分析服务。在团队中加载、编码和注释文本数据。衡量评估者之间的可靠性，并判断程序员之间的差异。报告代码和编码器的准确性。通过系统迭代训练更好的程序员。
GATE-文本工程的通用架构，一个自然语言处理和语言工程的开源工具箱。
Gensim 大型主题建模和从非结构化文本(Python)中提取语义信息。
Natural Language Toolkit (NLTK)——一套用于Python编程语言的符号和统计自然语言处理(NLP)的库和程序。
OpenNLP 自然语言处理。
Orange及其文本挖掘附加组件。
Stanbol 一个针对语义内容管理的开源文本挖掘引擎。
编程语言R 为包tm中的文本挖掘应用程序提供了一个框架。自然语言处理任务视图包含tm和其他文本挖掘库包
KNIME 文本处理扩展。
The PLOS 文本挖掘集合
Voyant Tools 一个基于web的文本分析环境，创建为一个学术项目。
spaCy - Python的开源自然语言处理库
首席推荐：
    商业软件推荐SPSS，SAS
    开软软件推荐：OpenNLP(Java爱好者),spaCy(Python爱好者)
本文：https://pub.intelligentx.net/wikipedia-list-text-mining-software
讨论：请加入知识星球或者小红圈【首席架构师圈】或者小号【jiagoushi_pro】
微信公众号
【首席架构师智库】
适合物业仔细反复阅读。
精彩图文详解架构方法论，架构实践，技术原理，技术趋势。
我们在等你，赶快扫描关注吧。
微信小号
激烈深度讨论，报上你想加入的群：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化.
社群已经有5000人，赶快加入讨论。
QQ群
深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。
QQ大群，不用担心群满。
视频号
【首席架构师智库】
1分钟快速了解架构相关的基本概念，模型，方法，经验。
每天1分钟，架构心中熟。
知识星球
向大咖提问，近距离接触，或者获得私密资料分享。
知识星球【首席架构师圈】
微信圈子
志趣相投的同好交流。
微信圈子【首席架构师圈】
喜马拉雅
路上或者车上了解最新黑科技资讯，架构心得。
【智能时刻，架构君和你聊黑科技】
知识星球
认识更多朋友，职场和技术闲聊。
知识星球【职场和技术】
谢谢大家关注，转发，点赞和在看。