文本分析是指：
 
从文本中抽取特征词进行量化以表示文本信息。
 
文本一般指文字。
 
它是自然语言处理的一个小分支，自然语言处理还包括语音识别（常见的）等。
 
目的：
 
先决条件：将无结构化的原始文本转化为结构化的，计算机可以识别和处理的信息。
 
优势特点：从而可以利用机器学习，分类聚类等算法，对文本进行分析处理。
 
关键环节：对文本进行抽象，建立数学模型，用来描述和代替文本。
 
应用场景：处理后的文本就是高度抽象和特征化的，可以实现广告推荐，舆情监测等。
 
关键技术：
 
1、用向量空间模型描述文本。将非结构化文本转化为结构化。
 
为什么不用词频统计和分词算法，是因为这两种方法得到的特征向量维度非常大，后期矢量处理开销非常大，不利于后期分类、聚类。
 
主流方法是用特征词来表示文本，特征词必须满足：能识别文本内容、去区分其它文本、个数不能太多、容易实现。
 
特征词选取后，必须有相应的权值表示不同的影响，最好对其进行排序。
 
2、特征词选取的四种方式：
 
用映射或者转换的方法将原始特征变为较少特征。
 
在原始特征中挑选出具有代表性的特征。
 
根据专家挑选最优影响力的特征。
 
利用数学模型，找出最具分类型的特征。这种方式最客观，最精确。
 　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
 什么是文本挖掘？大数据该挖掘什么？
http://www.duozhishidai.com/article-13833-1.html
大数据时代，文本、语义和社交分析，未来市场将走向何方
http://www.duozhishidai.com/article-2467-1.html
基于深度神经网络,是怎么自动生成文本摘要的
http://www.duozhishidai.com/article-1306-1.html
 
 
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
 
 
  
 　

 
数据分析学习总结笔记09：文本分析
 
1 文本分析
1.1 文本分析概述
1.2 结构/非结构化数据
1.3 文本数据特点
1.4 自然语言处理——NLP
1.5 文本挖掘的应用
  
2 文本分词
2.1 英文分词——KNIME
2.2 中文分词
2.2.1 中文分词工具
2.2.2 分词的方法
2.2.3 中文分词实操——pynlpir
2.2.3.1 pynlpir准备
2.2.3.1 操作步骤
   
  
  
3 中文关键词提取
3.1 关键词提取概述
3.2 关键词提取方法
3.2.1 TF-IDF
3.2.2 TextRank
   
3.3 关键词提取实操——pynlpir
  
4 中文停用词过滤
4.1 停用词概述
4.2 停用词实操——pynlpir
  
5 中文词频统计
5.1 NLTK简介
5.2 词频统计实操——NLTK
  
6 中文命名实体识别
6.1 命名实体识别概述
6.2 命名实体识别类型
6.3 命名实体识别方法
6.4 命名实体识别实操——pynlpir
6.4.1 pynlpir实体分类结构
6.4.2 pynlpir实操
  
 

 
1 文本分析
 
1.1 文本分析概述
 
文本分析是指对文本的表示及其特征项的选取；文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化以表示文本信息。
 
1.2 结构/非结构化数据
 
结构化数据：指的就是可以用二维表组织、分析处理过程较为明确的信息，可以将这种结构化的二维表组织方式理解为一个表格，表格里的每一个元素都被明确标记并很容易被识别。数字、符号等属于结构化数据。
非结构化数据：指多种信息的无结构混合，通常无法直接知道或明确理解其内部结构，只有经过识别、有条理的存储分析后才能体现其结构化特征，通过文本挖掘，发现价值。文本、图片、声音、视频等属于非结构化数据。
半结构化数据：介于结构化数据和非结构化数据两者之间的数据称为半结构化数据，大多数文本，既包含标题、作者、分类等结构字段，又包含非结构化的文字内容，这类文本均属于半结构化数据。如，新闻等。
 
1.3 文本数据特点
 
（1）非结构化（非结构化数据占绝大部分）
 （2）海量数据
 （3）高维稀疏性
 （4）语义/情感
 
1.4 自然语言处理——NLP
 
自然语言处理（Natural Language Processing，NPL）作为计算机科学领域与人工智能领域中的一个重要方向，是处理文本信息的一种重要手段。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。主要包括以下内容：
 
机器翻译
自动摘要
文本分类
信息检索
信息抽取
自动问答
情感分析
……
 
1.5 文本挖掘的应用
 
词频分析
关键词提取
语义网
文本分类
情感分析
主题模型
……
 
2 文本分词
 
分词，是将连续字符组成的语句按照一定规则划分成一个个独立词语的过程。
 
停用词：“This”，“that”，“的”、“地”、“啊”，……
歧义词：我们需要有自主权→自主/主权
未登录词：“喜大普奔”，“洪荒之力”，……
 
 
2.1 英文分词——KNIME
 
（1）软件官方下载地址：KNIME.org。
 （2）推荐原因：开源；具有丰富的案例；支持多种语言（Python，R等）。
 （3）处理步骤：
 
分词：去除标点符号→删除特定字符→英文大小写规范→去停用词→英文时态规范……
 
 
分词处理结果
 
 
文本挖掘：分类（决策树，SVM支持向量机，K最近邻法）等
 
2.2 中文分词
 
2.2.1 中文分词工具
 
软件：NLPIR（ICTCLAS）、ROST、FudanNLP
在线应用：SCWS、FudanNLP、LTP、NLPCN、Bosonnlp
 
程序源码：LTP、CRF、smallseg、mmseg4j、盘古分词、Paoding、pynlpir、jieba、Rwordseg
 
 
2.2.2 分词的方法
 
基于规则：指基于人工标注的词性和统计特征对中文语料进行训练，得到对每一个字的类别标注，根据标注结果来进行分词，同时通过模型计算各种分词结果出现的概率，将概率最大的分词结果作为最终结果。
基于统计：关注文本本身的词项构成，其基本思想是字符串频数分析。分词过程：将文本中所有相邻汉子按照某一长度构成字符串，遍历所有字符串组合并统计其出现的频数，字符串出现的频数越高表明其为固定搭配词的可能性越大，设定某一频数阈值，超过阈值时则将该字符串换分为固定搭配词。
基于词典：指应用词典匹配、汉语词法或其他汉语语言知识进行分词的方法，使用的词典可以是庞大的统一化词典，或者是分行业的垂直词典，如中科院开发的汉语语法分析系统ICTCLAS等。其基本分词原理是，在文本输入后，依据一定策略将待分析的文本与词典进行词项匹配，匹配成功则提取该词。
 
2.2.3 中文分词实操——pynlpir
 
2.2.3.1 pynlpir准备
 
简介：Pynlpir是对中文分词软件NLPIR/ICTCLAS做的Python封装，其本质是调用NLPIR/ICTCLAS的分词程序。项目地址：https://github.com/tsroten/pynlpir
安装方法：
 （1）pip install pynlpir
 （2）python setup.py install
调用方法：
 import pynlpir
 
2.2.3.1 操作步骤
 
1. 分词
 
 2. 发现新词
 
因为分词工具的词典是通用词典，所以在对一些特定领域的文本进行分词时，可能不能准确地切出我们想要的词。
因此，可以先通过发现新词功能，找出领域独有的词，然后加到用户词典里。
 
 3. 添加用户词典
 
 4. 文件分词
 
 
3 中文关键词提取
 
3.1 关键词提取概述
 
关键词提取就是从文本里面把跟这篇文章意义最相关的一些词抽取出来。最早可追溯到文献检索初期，目前依然需要在论文中使用关键词。
 关键词在文本聚类、分类、摘要等领域发挥着重要作用。如，新闻关键词标签；淘宝评论标签；将某段时间中几个人的微博拼成一篇长文本，然后抽取关键词就可以知道他们主要在讨论些什么话题。
 
3.2 关键词提取方法
 
3.2.1 TF-IDF
 
TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，用以评估一字词对于一个文件集及或一个语料库中的其中一份文件的重要程度。
 
TF（Term Frequency）词频，某个词在文章中出现的次数或频率。如果某篇文章中的某个词出现多次，那这个词可能是比较重要的词。
IDF（Inverse Document Frequency）逆文档频率，指词语“权重”的度量。在词频的基础上，如果一个词在多篇文档中词频较低，也就表示这是一个比较少见的词，但却在某一篇文章中出现了很多次，则这个词IDF值越大，在这篇文章中的“权重”越大。即，当一个词越常见，其IDF值越低。
当计算出TF和IDF值后，两数相乘即为TF-IDF：某词的TF-IDF值越高，说明其在这篇文章中的重要性越高，越有可能是文章的关键词。
 
 
3.2.2 TextRank
 
TextRank算法是一种用于文本的基于图的排序算法。
 
基本思想：来源于谷歌的PageRank算法，通过把文本分割成若干组成单元（单词、句子）并建立图模型，利用投票机制对文本中的重要成分进行排序。
优点：不需要事先对多篇文档进行学习训练，仅利用单篇文档本身的信息即可实现关键词提取、文摘，因其简洁有效而得到广泛应用。
 
PageRank:
 
PageRank最开始用来计算网页的重要性。整个互联网可以看做一张有向图，节点是网页。如果网页A存在到网页B的链接，那么有一条从网页B指向网页A的有向边。
 
其中，S(Vi)是网页i的重要性（PR值），d是阻尼系数，一般设置为0.85，In(Vi)是存在指向网页i的链接的网页集合，Out(Vi)是网页j中的链接存在的链接指向网页的集合，|Out(Vi)|是集合中元素的个数。
 
3.3 关键词提取实操——pynlpir
 
1. 提取关键词
 
 2. 抽取文件关键词
 
 优化输出结果：
 
 
4 中文停用词过滤
 
4.1 停用词概述
 
停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words（停用词）。
 这些停用词都是人工输入、非自动化生成的，生成后的停用词会形成一个停用词表。但是，并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。
 
4.2 停用词实操——pynlpir
 
1. 过滤停用词
 
 2. 文件过滤停用词
 
 
5 中文词频统计
 
5.1 NLTK简介
 
NLTK是一个高效的Python构建的平台，用来处理人类自然语言数据。
 
提供了易于使用的接口，通过这些接口可以访问超过50个语料库和词汇资源（如WordNet）；
用于分类、标记化、词干标记、解析和语义推理的文本处理库，以及工业级NLP库的封装器；
活跃的讨论论坛。
 
5.2 词频统计实操——NLTK
 
 
6 中文命名实体识别
 
6.1 命名实体识别概述
 
命名实体识别（Named EntitiesRecognition，NER）指识别文中具有特定意义的实体，如人名、机构名、地名等专有名词和有意义的时间等，是信息检索、问答系统等技术的基础任务。
 
举例：《华尔街日报》报道称，苹果公司CEO库克声称中国也在首批预售名单中。
 
6.2 命名实体识别类型
 
模板元素任务（Template Element）
 指提取文本中相关的命名实体，包括各种专有名词、时间表达式、数量表达式等。
模板关系任务（Template Relation）
 指提取命名实体之间的各种关系事实等。如，“Location of, Employee of, Product of”等关系。
脚本模板任务（Scenario Template）
 指提取指定的事件，包括参与这个事件的各个实体、属性或关系。
 
6.3 命名实体识别方法
 
隐马尔可夫模型（Hidden Markv Model, HMM）
支持向量机（Supper Vector Machine, SVM）
最大熵（Maximum Entropy, ME）
条件随机场（Conditional Random Field, CRF）
 
6.4 命名实体识别实操——pynlpir
 
6.4.1 pynlpir实体分类结构
 
7个一级实体类型：人、职能、地点、产品、组织机构、数量、时间。
32个二级实体类型。
 
6.4.2 pynlpir实操
 
1. 显示词性
 
 2. 提取特定词性
 
 3. 提取命名实体
 
 4. 文件的命名实体识别
 
 
 
 
相关笔记：
 
Python相关实用技巧01：安装Python库超实用方法，轻松告别失败！
Python相关实用技巧02：Python2和Python3的区别
Python相关实用技巧03：14个对数据科学最有用的Python库
Python相关实用技巧04：网络爬虫之Scrapy框架及案例分析
Python相关实用技巧05：yield关键字的使用
Scrapy爬虫小技巧01：轻松获取cookies
Scrapy爬虫小技巧02：HTTP status code is not handled or not allowed的解决方法
数据分析学习总结笔记01：情感分析
数据分析学习总结笔记02：聚类分析及其R语言实现
数据分析学习总结笔记03：数据降维经典方法
数据分析学习总结笔记04：异常值处理
数据分析学习总结笔记05：缺失值分析及处理
数据分析学习总结笔记06：T检验的原理和步骤
数据分析学习总结笔记07：方差分析
数据分析学习总结笔记07：回归分析概述
数据分析学习总结笔记08：数据分类典型方法及其R语言实现
数据分析学习总结笔记09：文本分析
数据分析学习总结笔记10：网络分析
 
本文主要根据个人学习（媒体大数据挖掘与案例实战MOOC），并搜集部分网络上的优质资源总结而成，如有不足之处敬请谅解，欢迎批评指正、交流学习！
 
 
 
 
媒体大数据挖掘与案例实战MOOC ↩︎
 
停用词百度百科 ↩︎
 
 

 
 
温馨提示：本文是《数据分析中，文本分析远比数值型分析重要！》的上篇，聊的是文本分析的一些基本知识，下篇将以一个实际案例来聊聊基于大数据的文本分析是如何应用在商业场景中的，将于明天推送，敬请期待~
 
图片太小看不清的话，点击即可放大~ 
 
1.我们日常所理解的“数据分析”
 
在我们日常的产品和运营工作中，经常接触的数据分析方法、形式绝大部分是基于对数字（值）的描述性分析，如销量情况、用户增长情况、留存情况和转化情况等，高级一些的数据分析方法有因子分析、聚类分析和回归分析等方法（见下图）。
 

常用的数据分析方法/形式
 
这些分析方法/形式有一个共同点：都是跟数字在打交道，说的专业一点，就是基于对结构性数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）的分析，比如姓名、性别、年龄这些信息，以Word、Excel等形式呈现的数据。这种类别的数据比较好处理，只要简单的建立一个对应的表就可以了。
 


 
典型的结构性数据表格
 
然而，数据分析仅仅只有这一种类型吗？
 
答案当然是：NO.
 
一个完整而清晰的数据分析过程，除了在范围上，要进行宏观和微观的分析外，还需要在分析的层次上有所递进和深入，以下是我们进行数据分析时常会考虑到7个维度。（见下图）。
 


 
数据分析的7个维度（来源：《谁说菜鸟不会数据分析（工具篇）》）
 
在上图中，对数值型数据的分析能覆盖绝大部分的维度，但它更多的是描述事物的表层现象，主要是在事物的“量”上进行描述。也就是说，对数值型数据的分析并不能回答其中最为重要的一个维度---“Why”，但在产品和运营的实际工作中，发掘出用户的喜好、购买/使用及流失的内在原因（也就是洞察用户的行为动机），对我们的工作至关重要，它会直接影响产品的功能设定和运营策略。
 
这时，对非结构性的文本型数据进行分析呼之欲出。
 
根据2011年IDC的调查，非结构化数据将占未来十年所创造数据的90%。作为一个尚未得到充分开发的信息源，非结构化数据分析可以揭示之前很难或无法确定的重要相互关系。
 
所以，我们有必要对非结构性数据引起高度重视！！！
 
那什么是非结构性数据呢？
 
2.基于大数据的文本分析
 
非结构性数据是与结构性数据相对的一个概念，它包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
 

 
非结构性数据组成部分
 
本文所提及的非结构性数据特指文本数据，这里包括且不限于社交网络（微博、微信、QQ和脉脉等）、客户反馈（客户抱怨邮件、社交媒体网站的帖子、开放式问卷调查、消费者点评）新闻媒体、销售人员的拜访记录等。
 
那对文本数据进行分析，我们能得到哪些有价值的线索或洞察呢？
 
3.基于大数据的文本分析的商业价值
 
文本数据来源异常广泛且多样，很多时候需要搜索海量的网页。当然，只有基于恒河沙数般体量的大数据文本分析，才可能得出比较可靠、有说服力的商业insight。
 
“文本分析”，或者“语义分析”是分析海量的非结构性的文本（信息）数据，回答的不仅是“是什么”的描述性分析，更多的回答了“为什么”，即目标用户购买和使用产品的潜在动机/真实需求。
 
基于大数据的文本分析被广泛应用于各种行业来解决关键的知识性问题，例如从CRM 数据、 社交媒体、 新闻网站和购物网站评论等渠道获取文本数据，再通过计算机自然语言处理，从而揭示出在任何非结构化文本信息中的人物、事件、时间、地点等内容，从而能够提供贯穿所有业务的全新层面的理解。
 

 
大数据文本分析提取出的主要维度
 
举例来说，用户满意度的上升，可以从评论量中好评的增加以及服务评价几颗星来看出，但这只是描述性的分析，并不能知道为什么用户会给好评，产品或服务的哪些方面会得到好评。借助文本/语义分析，我们可以了解到这段时间排名靠前的评论词汇大都是正面的评论，而且可以清楚的看到用户对哪些方面感到满意，这是成功的经验，是需要巩固和加强的地方。反之，用户关于产品/服务反馈较负面的方面是我们需要重点注意和改善的。
 
简而言之，基于大数据的文本分析能够揭示出潜藏在文本信息当中的趋势和关联，为商业决策、行业趋势研究和热点内容追踪提供有力支持。
 
4.这些有价值的海量文本数据“藏”在哪里？
 
社会化媒体时代，用户在购买产品/服务前，或是使用产品/服务之后，会在互联网上表达自己的对产品的疑虑或看法，通过互联网这个平台表达社情民意，体现自身的真实意愿和产品/服务的体验感受等。
 
以下是用户所产生的海量的、有价值的文本信息“聚集地”：
 

大数据文本信息的来源
 
同时，在互联网的产品和运营工作中，我们主要注意如下3类文本信息来源渠道，即社交媒体、电商平台及APP应用市场上的用户对于产品/服务的“发声”。
 
（1）社交媒体
 
社交媒体发展日益瞩目，论坛、博客、微博、微信等社交网络接踵而至，它们在悄无声息中改变着我们的生活方式。
 
在交互性强、容易沉淀价值信息的网络论坛上，网民们可以获得各种信息服务，同时可以发布信息、进行讨论、聊天，用发帖回帖来表达对事件、产品、品牌和企业的看法。
 
在容易爆发热点话题的微博上，用户除了会主动发布的微博外，还会主动追踪热点事件、喜爱的兴趣频道和明星的微博，转发和评论这些微博。
 
在具有强关系属性的微信上，用户会对自己关注的公众号发布的内容进行评论和转发，以此来表达自己的观点和情绪…
 
在这个社会化的媒体时代，用户成为企业最好的品牌推广大使。如何从这些可观的社交媒体数据中分析出用户的潜在且准确的购物意愿及用户需求，将成为提高品牌价值和声誉，改善用户体验的新兴途径。
 
这就需要互联网从业者们加强社交媒体的监测功能，综合利用高级分析能力，发掘为消费者创造惊喜的良机。比如，新浪微博上粉丝过万的零售商，可以根据用户发表的微博、所参与的微话题和签到地点，为用户个性化的去推送优惠及新品信息。因为这些看似庞大无规则的社交数据，往往包含着大量的用户基本信息和兴趣标签，进而绘制出潜在的用户画像。
 
（2）电子商务平台
 
电子商务网站上的海量的用户言论数据隐含着巨大的信息，这些网站包括且不限于淘宝网、京东商城、亚马逊和大众点评网等主流购物、服务平台。
 
例如，亚马逊上的用户对某商品的评论，商家可以根据用户的评论和反馈为用户提供定制性的服务，甚至可以预测用户的需求，从而达到更加准确的销售目的。
 
（3）其他第三方应用市场
 
移动互联网时代诞生了的APP，这些APP除了“挂”在自家的官方网站以外，更多的是分布于第三方应用市场（如苹果商店、91助手、豌豆荚、小米应用市场、百度手机助手等），这时收集用户的大量吐槽对于改善APP的用户体验至关重要。通过对用户大量评论的文本分析，我们可以第一时间了解到产品的哪些方面是用户喜欢的，哪些方面是用户比较嫌弃的，哪些是无关痛痒的“伪需求”，力求在短时间内改善产品的功能与设计。
 
综上所述，相关文本数据的来源多样，而且覆盖了非常广泛的话题。任何和产品/服务相关的陈述和评论本质上都是有用的信息，因为这些陈述可以让产品/品牌所有者了解用户的最真实的想法。
 
5.大数据文本分析的一些应用场景
 
以上说的是大数据文本分析的一些原理、数据来源及其商业价值，现在笔者就从以下5点来谈谈它的实际应用场景。
 
（1）开放式作答处理
 
大量问卷调研中的开放式问题的处理，这些开放式的问题以电子文档的形式进行存储，使计算机进行文本分析成为可能，可以在短时间内从数以万计的作答中提取出有价值的分析维度，获得对（潜在）用户的需求的洞察。
 

 
从近万份某3.15开放式问答题中提炼出的焦点话题
 
（2）内容运营优化
 
捕捉优秀作者的写作风格
 
对于一些初入新媒体运营岗位的小伙伴来说，研究和模仿某些知名自媒体作者的写作风格很有必要，学习他们的写作手法和套路可以使我们的文案写作进步神速。
 
要想对这些优秀作者的行文风格进行深入研究，除了熟悉他们的行文脉络和篇章结构，更要熟稔其遣词造句上的套路（包括措辞特点、常用关键词和情感倾向等），在模仿中逐步形成自己的写作风格。
 
如下图，对咪蒙10几篇具有代表性的文章进行文本分析，从如下各种属性的关键词，再结合对咪蒙作品的一定了解，可以得出这样的结论：咪蒙的文章里经常进行宣泄负面情绪，把粉丝心中想说却不敢说的话酣畅淋漓的表达了出来，使万千粉丝感同身受，被其感染；另一方面，她身边的人常是被吐槽和分析的对象。。。
 

对咪蒙10几篇具有代表性文章进行文本分析
 
新媒体热点采集、追踪及预测
 
基于大数据的文本分析能快速获取全网具有趋势传播的关键词，可以实时监测传播趋势（包括全面研究阅读数、评论数、分享量、传播趋势），并且通过分析内容属性和成功原因，预测内容在未来的传播潜力。
 
能够娴熟使用大数据的媒体人在未来的媒体行业才有立足之地，就如热巢网CEO穆青所强调的：
 
在未来的媒体竞争中，媒体人需要转型变成“内容+技术”的复合型人才，一方面发挥自己在内容创作中的人性的独立判断和分析，另一方面需要借助大数据分析技术提升文章的传播效果。
 
（3）口碑管理
 
基于大数据的文本分析能快速准确的识别出企业/品牌/产品自身及竞争对手在互联网上的口碑变化，深度挖掘文本数据价值，在消费者洞察、产品研发、运营管理、市场营销、品牌战略方面，为管理决策提供科学依据。
 

某餐饮品牌的口碑管理
 
（4）舆情监测及分析
 
利用基于大数据的文本分析，我们可以清晰的知晓事件从始发到发酵期、发展期、高涨期、回落期和反馈期等阶段的演变过程，分析舆情的传播路径、传播节点、发展态势和受众反馈等情报。
 

 
对沪文化广播影视管理局的舆情监测
 
（5）了解用户反馈
 
通过基于大数据的文本分析，企业可以用正确的方式阅读用户散落在网络上的“声音”，企业可以直接读懂自己用户的想法，挖掘出用户对于产品/服务的情绪和态度。比如，大数据文本分析可以回答如下问题：
 
用户喜欢的是它产品的哪一方面？
比起其他公司的产品来，客户是否更倾向他的产品？
这些偏好会随着时间发展和变化吗？
 
本文偏向于科普大数据文本分析的基本知识，下一篇将用一个生动的案例来说明，大数据文本分析是如何在互联网商业实践中体现其巨大商业价值的。
 
精彩回顾
 
Python网络爬虫与文本数据分析

 
综述:文本分析在市场营销研究中的应用
 
Seaborn：一行代码生成酷炫狂拽的数据集可视化

 
50题matplotlib从入门到精通

 
30例 | 一文搞懂python日期时间处理

 
如何批量下载上海证券交易所上市公司年报

 
pdfkit | 自动化利器，生成PDF就靠它了

 
中文文本数据逻辑性分析库
 
中文文本分析相关资源汇总
 
cnsenti中文情绪情感分析库
 
如何使用Python快速构建领域内情感词典
 
Python数据分析相关学习资源汇总帖

 
漂亮~pandas可以无缝衔接Bokeh
 
YelpDaset: 酒店管理类数据集10+G
 
Loughran&McDonald金融文本情感分析库
 
万水千山总是情，给我点好看可好❤
 

 
文章目录
 
一. 中文文本分析相关库
1. 中文分词jieba库
(1). jieba库概述
(2). jieba库安装
(3). jieba分词原理
(4). jieba库的使用说明
1. 精确模式
2. 全模式
3. 搜索引擎模式
    
(5). jieba库常用函数
   
2. 词云绘制worldcloud库
(1). worldcloud库概述
(2). worldcloud库安装
(3). worldcloud库使用说明
(4). wordcloud库常规方法
1. 举例：
2. 分析：
    
(5). 配置对象参数
1. 举例1
2. 实例2
    
(6). 政府工作报告词云
   
3. 社交关系网络networkx库
  
二. 文本词频统计
1. 文本词频统计问题分析
2. 文本词频统计实例
3. hamlet英文词频统计实例
4. 三国演义人物出场统计实例
(1). 代码一
(2). 代码二升级版
  
 

 
一. 中文文本分析相关库
 
1. 中文分词jieba库
 
(1). jieba库概述
 
jieba是优秀的中文分词第三方库
 
 
(2). jieba库安装
 
 
(3). jieba分词原理
 
jieba分词利用中文词库
 
 
(4). jieba库的使用说明
 
jieba分词的三种模式
 
1. 精确模式
 
把文本精确的切分开，不存在冗余单词
 
2. 全模式
 
把文本中所有可能词语都扫描出来，有冗余
 
3. 搜索引擎模式
 
在精确模式的基础上，对长词再次切分
 
(5). jieba库常用函数
 

 
 
2. 词云绘制worldcloud库
 
(1). worldcloud库概述
 
 
(2). worldcloud库安装
 
 
(3). worldcloud库使用说明
 
wordcloud库把词云当作一个WordCloud对象
 
 
(4). wordcloud库常规方法
 

 
 
1. 举例：
 
import wordcloud

# 步骤一：配置对象参数
c = wordcloud.WordCloud()   
# 步骤二：加载词云文本
c.generate("wordcloud by Python")
# 步骤三：输出词云文件
c.to_file("pywordcloud.png")
 
 
2. 分析：
 
 
(5). 配置对象参数
 

 
 
 
 
1. 举例1
 
import wordcloud
txt = "life is short,you need python"
w = wordcloud.WordCloud(background_color="white")
w.generate(txt)
w.to_file("pywordcloud1.png")
 
 
2. 实例2
 
import jieba
import wordcloud
txt = "程序设计语言是计算机能够理解和识别用户\
    操作意图的一种交互体系，它按照特定规则组织计算机指令，\
    使计算机能够自动进行各种运算处理"
w = wordcloud.WordCloud(width=1000,font_path="msyh.ttc",height=700)
w.generate(" ".join(jieba.lcut(txt)))
w.to_file("pywordcloud2.png")
 
 
(6). 政府工作报告词云
 
 
#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")

t = f.read()
f.close()
ls = jieba.lcut(t)

txt = " ".join(ls)
w = wordcloud.WordCloud( \
    width = 1000, height = 700,\
    background_color = "white",
    font_path = "msyh.ttc"    
    )
w.generate(txt)
w.to_file("grwordcloud.png")
 
 
#GovRptWordCloudv2.py
import jieba
import wordcloud
from imageio import imread
mask = imread("fivestar.png")
#excludes = { }
f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(\
    width = 1000, height = 700,\
    background_color = "white",
    font_path = "msyh.ttc", mask = mask
    )
w.generate(txt)
w.to_file("grwordcloudm.png")
 
 
3. 社交关系网络networkx库
 
二. 文本词频统计
 
1. 文本词频统计问题分析
 
需求：一篇文章，出现了哪些词？哪些词出现的最多？
 
做法：先判断文章是英文的还是中文的
 
2. 文本词频统计实例
 
 
3. hamlet英文词频统计实例
 
#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1 #判断获取的词是否在字典中，默认为0
items = list(counts.items())    #转换为列表类型
items.sort(key=lambda x:x[1], reverse=True)     #进行按照键值对的2个元素的第二个元素进行排序
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

结果：
the        1138
and         965
to          754
of          669
you         550
i           542
a           542
my          514
hamlet      462
in          436
 
4. 三国演义人物出场统计实例
 
(1). 代码一
 
#CalThreeKingdomsV1.py
import jieba
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)    #分词处理，形参列表
counts = {}     #构造字典
for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word,0) + 1
items = list(counts.items())    #转换为列表类型
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(15):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

结果：
曹操          953
孔明          836
将军          772
却说          656
玄德          585
关公          510
丞相          491
二人          469
不可          440
荆州          425
玄德曰         390
孔明曰         390
不能          384
如此          378
张飞          358
 
(2). 代码二升级版
 
#CalThreeKingdomsV2.py
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}   #将确定不是人名的取出掉
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":  #进行人名关联
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
for word in excludes:
    del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

结果：
曹操         1451
孔明         1383
刘备         1252
关羽          784
张飞          358
商议          344
如何          338
主公          331
军士          317
吕布          300