精华内容
下载资源
问答
  • python生成词云
    2020-11-28 13:59:35

    生成词云还挺简单的。就用wordcloud库就可以生成。WordCloud用的内容可以是字符串,也可以是dict.生成中文信息的时候要指定字体文件。不然返回的都是方块。

    关于扒网页信息。要注意的是在header里放一些user-agent一类的东西(假装是真的有人从浏览器点开)。不然可能网站会识别出来,啥都不返回。返回值需要encode成utf-8,不然中文显示是十六进制的。

    json包是可以直接把字符串解析成json的。

    具体看代码就好

    9e91a64cb152?from=timeline&isappinstalled=0

    生成结果

    import requests

    import json

    import matplotlib.pyplot as plt

    from wordcloud import WordCloud

    headers={

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

    }

    response=requests.get('http://staticize.mop.com/flow/getGodsPost?callback=jQuery18306592292048542212_1556547095138&category=110017&_=1556547100904', headers)

    data=response.content.decode('utf-8')

    jsonData = json.loads(data[data.find("{"):data.rfind("}")+1])

    webContent = jsonData["data"] #title htmlname

    #generate word cloud

    cloudStr = ""

    for content in webContent:

    cloudStr += content["title"]

    #font_path is used for Chinese characters

    cloud = WordCloud(font_path="C:\Windows\Fonts\msyhbd.ttc",background_color="white",width=1000,height=860,margin=2).generate(cloudStr)

    plt.imshow(cloud)

    plt.axis("off")

    plt.show()

    更多相关内容
  • python生成词云

    2020-12-21 11:45:53
    需要使用python的第三方类库jieba、matplotlib、wordcloud,如果没有请用pip安装。 代码实现 import jieba import matplotlib.pyplot as plt #相当于c的宏定义 from wordcloud import WordCloud,STOPWORDS text="" f...
  • 文章目录17 python生成词云1.安装Wordcloud库2.Wordcloud库简介3.词云绘制词云绘制步骤词云参数调整4.中英文词云绘制5.实例(政府工作报告词云) 17 python生成词云 1.安装Wordcloud库 使用python生成词云,需要首先...
  • Python生成词云图.pdf

    2021-06-28 17:41:42
    Python生成词云图.pdf
  • 下面小编就为大家带来一篇python生成词云的实现方法(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
  • Python生成词云

    千次阅读 2021-01-13 15:02:38
    1 概述利用Python生成简单的词云,需要的工具是cython,wordcloud与anaconda.2 准备工作包括安装cython,wordcloud与anaconda.2.1 安装anaconda选择对应的版本下载即可.2.2 安装cythoncython是为了安装wordcloud准备的....

    1 概述

    利用Python生成简单的词云,需要的工具是cython,wordcloud与anaconda.

    2 准备工作

    包括安装cython,wordcloud与anaconda.

    2.1 安装anaconda

    选择对应的版本下载即可.

    2.2 安装cython

    cython是为了安装wordcloud准备的.

    pip -m pip install --upgrade cython

    2.3 安装wordcloud

    安装wordcloud前需要先安装Microsoft Visuall C++ 14.0.

    安装好了以后重启,输入

    python -m easy_install wordcloud

    3 使用

    3.1 打开Jupyter

    打开Jupyter Notebook.

    然后会在浏览器打开这个页面,新建一个notebook.

    先把需要的库导入:

    from wordcloud import WordCloud

    import matplotlib.pyplot as plt

    3.2 创建文字库

    简单的文字库可以直接选择一个txt文件,复杂的话可以选择创建一个excel,导出为csv文件,然后利用pandas库的read_csv()读入文件.这里创建一个txt,空格分隔单词即可.

    然后上传到Jupyter中:

    3.3 生成词云

    首先读入文件:

    text = open('1.txt').read()

    然后使用WordCloud().generate(text),在里面设置各种属性.

    wc=WordCloud(

    width=800,

    repeat=True,

    height=800).generate(text)

    这里设置了高度与宽度,允许重复.

    plt.imshow(wc,interpolation="bilinear")

    plt.axis("off")

    plt.show()

    显示词云,

    interpolation='bilinear'

    会使显示平滑更加平滑,axis("off")表示不显示坐标轴.

    下面是效果:

    3.4 注意事项

    如果含有汉字,首先在读取时设置编码:

    text = open('1.txt',encoding='utf-8')

    然后再生成词云时设置字体:

    wc = WordCloud(font_path=r'C:\Windows\Fonts\simfang.ttf')

    测试:

    text=open('1.txt',encoding='utf-8').read()

    wc=WordCloud(

    width=1300,

    repeat=True,

    font_path=r'C:\Windows\Fonts\simfang.ttf',

    height=1300).generate(text)

    plt.imshow(wc,interpolation="bilinear")

    plt.axis("off")

    plt.savefig('aaaa.jpg')

    展开全文
  • 主要介绍了Python生成词云,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 主要介绍了详解Python如何生成词云的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
  • 什么是词云呢?词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。现在,可以从网络上找到各种...

    什么是词云呢?

    词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

    现在,可以从网络上找到各种各样的词云,下面一图来自沈浩老师的微博:

    generate-word-cloud-by-python.html

    从百度图片中还可以可以看到更多制作好的词云,部分截图如下:

    generate-word-cloud-by-python.html

    词云制作有很多工具…..

    从技术上来看,词云是一种有趣的数据可视化方法,互联网上有很多现成的工具:

    Wordle是一个用于从文本生成词云图而提供的游戏工具

    Tagxedo 可以在线制作个性化词云

    Tagul 是一个 Web 服务,同样可以创建华丽的词云

    Tagcrowd 还可以输入web的url,直接生成某个网页的词云

    ……

    十行代码

    但是作为一个老码农,还是喜欢自己用代码生成自己的词云,复杂么?需要很长时间么? 很多文字都介绍过各种的方法,但实际上只需要10行python代码即可。

    import matplotlib.pyplot as plt

    from wordcloud import WordCloud

    import jieba

    text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()

    wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)

    wl_space_split = " ".join(wordlist_after_jieba)

    my_wordcloud = WordCloud().generate(wl_space_split)

    plt.imshow(my_wordcloud)

    plt.axis("off")

    plt.show()

    如此而已,生成的一个词云是这样的:

    generate-word-cloud-by-python.html

    读一下这10行代码:

    1~3 行,分别导入了画图的库matplotlib,词云生成库wordcloud 和 jieba的分词库;

    4 行,是读取本地的文件,代码中使用的文本是本公众号中的《老曹眼中研发管理二三事》。

    5~6 行,使用jieba进行分词,并对分词的结果以空格隔开;

    7行,对分词后的文本生成词云;

    8~10行,用pyplot展示词云图。

    这是我喜欢python的一个原因吧,简洁明快。

    执行环境

    如果这十行代码没有运行起来,需要检查自己的执行环境了。对于完整的开发学习环境,可以参考本公众号《老曹眼中的开发学习环境》。 对于面向python 的数据分析而言,个人喜欢Anaconda,可以去https://www.continuum.io/downloads/ 下载安装,安装成功后的运行界面如下:

    generate-word-cloud-by-python.html

    anaconda 是python 数据爱好者的福音吧。

    安装wordcloud 和 jieba 两个库同样非常简单:

    pip install wordcloud

    pip install jieba

    遇到的一个小坑,刚开始运行这十行代码的时候,只显式了若干彩色的小矩形框,中文词语显式不出来,以为是万恶的UTF8问题,debug一下,发现print 结巴分词的结果是可以显示中文的,那就是wordcloud 生成词语的字体库问题了。开源的好处来了,直接进入wordcloud.py 的源码,找字体库相关的代码

    FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))

    wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库, 重新运行一下这十行代码,就可以了。当然,解读代码后有更优雅的方法。

    看一下源码

    既然进入了源码,就会忍不住好奇心,浏览一下wordcloud 的实现过程和方式吧。

    wordcloud.py总共不过600多行,其间有着大量的注释,读起来很方便。其中用到了较多的库,常见的random,os,sys,re(正则)和可爱的numpy,还采用了PIL绘图,估计一些人又会遇到安装PIL的那些坑。

    生成词云的原理其实并不复杂,大体分成5步:

    对文本数据进行分词,也是众多NLP文本处理的第一步,对于wordcloud中的process_text()方法,主要是停词的处理

    计算每个词在文本中出现的频率,生成一个哈希表。词频计算相当于各种分布式计算平台的第一案例wordcount, 和各种语言的hello world 程序具有相同的地位了,呵呵。

    根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。

    将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终到generate_from_frequencies

    完成词云上各词的着色,默认是随机着色

    词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。

    更多的小例子

    看看一个准文言文的词云,文本文字来自本公众号去年的旧文——《妻》,其中在构造函数中传入了关于屏幕和字体大小的几个参数:

    width=800,height=400,max_font_size=84,min_font_size=16

    得到了这样的词云图:

    generate-word-cloud-by-python.html

    自惭形秽,根本看不出文言文的色彩和对妻子的感情流露,不是好文字呀!或许是词云的局限吧!

    矩形的词云的确太简陋了,直接在图片上用词云来填充就有意思多了,wordcloud中可以采用mask的方式来实现。换上一张自己的照片,用《再谈一文》中的文字,词云出来的效果是这样的 :

    generate-word-cloud-by-python.html

    还是很难看出肖像的轮廓,还好,可以遮丑。其中增加了3行代码

    from PIL import Image

    import numpy as np

    abel_mask = np.array(Image.open("/Users/hecom/chw.png"))

    在构造函数的时候,将mask传递进去即可:

    background_color="black", mask=abel_mask

    自己做的这些词云图片还是太陋,这就是原型简单,好的产品困难呀!做好一个漂亮词云的图片,还是要在诸多细节上下功夫的。

    例如:

    分词的处理,“就是”这样没有意义的词不应该出现在词云里呀?

    所展示关键词的目的性选择?

    如何选择一个合适的字库?

    如何更好地自主着色?

    图片的预处理,如何让图片和词云表达原图片的主要特征?

    ……

    词云的背后

    词云的背后实际上是数据集成处理的典型过程,我们所熟知的6C,如下图:

    generate-word-cloud-by-python.html

    Connect: 目标是从各种各样数据源选择数据,数据源会提供APIs,输入格式,数据采集的速率,和提供者的限制.

    Correct: 聚焦于数据转移以便于进一步处理,同时保证维护数据的质量和一致性

    Collect: 数据存储在哪,用什么格式,方便后面阶段的组装和消费

    Compose: 集中关注如何对已采集的各种数据集的混搭, 丰富这些信息能够构建一个引入入胜的数据驱动产品。

    Consume: 关注数据的使用、渲染以及如何使正确的数据在正确的时间达到正确的效果。

    Control: 这是随着数据、组织、参与者的增长,需要的第六个附加步骤,它保证了数据的管控。

    这十行代码构建的词云,没有通过API从公众号(wireless_com)直接获取,简化和抽象是工程化的典型方式,这里至今复制粘贴,甚至省略了correct的过程,直接将数据存储在纯文本文件中,通过jieba分词进行处理即compose,使用词云生成可视化图片用于消费consume,把一个个自己生成的词云组织到不同的文件目录便于检索算是初步的管控control吧。

    参考网站

    https://www.continuum.io

    https://github.com/fxsjy/jieba

    https://github.com/amueller/word_cloud

    展开全文
  • 利用python生成词云

    2021-05-20 16:51:56
    本篇讲解如何利用python第三方库生成词云 导入相应的库 import jieba #对文本进行分词的库 import wordcloud #词云库 from imageio import imread #词云展示自己想要的形状所需的库 加载词云展示形状文件 mask ...

    本篇讲解如何利用python第三方库生成词云

    1. 导入相应的库
    import jieba  #对文本进行分词的库
    import wordcloud  #词云库
    from imageio import imread #词云展示自己想要的形状所需的库
    
    1. 加载词云展示形状文件
    mask = imread("xin.png")  #前面导入的 imageio库 ,只适用于png格式的图片
    
    1. 打开要解析的文件
    f = open("data.txt","r",encoding="gb18030") #中文编码一般为utf-8,但是如果运行出现编码错误的话,可以使用  gb18030
    t = f.read()
    f.close()
    
    1. 加载jieba库,进行文件分词处理
    ls = jieba.lcut(t)  #jieba库中的lcut()方法可以对文本进行分词并返回一个列表
    txt = " ".join(ls)  #将列表中的每一个元素用空格分隔开
    
    1. 配置词云属性
    w = wordcloud.WordCloud(font_path = "msyh.ttc",mask = mask,\
        width = 1000, height = 700, background_color = "white")
    
    1. 加载文件并以图片形式输出
    w.generate(txt)
    w.to_file("grwordcloud.png")
    

    成果展示

    在这里插入图片描述

    完整代码

    import jieba
    import wordcloud
    from imageio import imread
    mask = imread("xin.png")
    f = open("data.txt","r",encoding="gb18030")
    t = f.read()
    f.close()
    ls = jieba.lcut(t)
    txt = " ".join(ls)
    w = wordcloud.WordCloud(font_path = "msyh.ttc",mask = mask,\
        width = 1000, height = 700, background_color = "white")
    w.generate(txt)
    w.to_file("grwordcloud.png")
    
    展开全文
  • 大家在网上经常看到,下面看一些例子:那用python生成一个词云的话怎么办呢,首先要有一些词,随便找个吧,用see you again的歌词好了,放到again.txt里面,放着待会用。然后呢,咱们用wrodcloud这个模块,他可以...
  • python生成词云,不报错但也不显示相应的词云图片
  • wordcloud: 要想词云做的好,wordcloud少不了,worldcloud用于生成词云。 用到的函数:wordcloud.WordCloud().generate() : 就是这个函数造出的词云,第一个括号里填词云的各种参数,第二个括号里
  • 一种用Python生成词云

    2020-11-27 17:35:01
    一种用Python生成词云我们在阅读一篇很长的文章时,总先看看文章的关键词来获知文章的大概内容。今天我们就来制作一个词云程序,将文章中出现次数较多的词语提取出来,生成一张词云图。词云图的生成原理:程序会将这...
  • Python生生成成词词云云的的实实现现代代码码 这篇文章主要介绍了Python生成词云文中通过示例代码介绍的非常详细对大家的学习或者工作具有一定的参 学习价值需要的朋友们下面随着小编来一起学习学习吧 1 概概述述 ...
  • 闲话不多说,直接上干货!...在命令行输入 pip install jieba回车,安装jieba包。安装wordcloud包同jieba一样,也可以使用pip install wordcloud安装,但是安装...python常用whl文件的下载地址:https://www.lfd.uci.e...
  • Python生成词云

    万次阅读 多人点赞 2018-06-12 15:42:35
    今天写的是怎么用Python去做词云。本来是准备用Pycharm的,但是它说我缺少Microsoft什么什么的,然后导词云包导不进去,还折腾了好久,最后放弃了Pycharm,决定用sublime了,说实话,sublime是真的强大,按照网上的...
  • 词云图“词云”就是对网络文本中出现频率较高的“关键词”予以视觉上的突出,形成“关键词云层”或“关键词渲染”,从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨。二. 前期准备...
  • Python生成词云图.zip

    2021-10-16 02:34:55
    Python生成词云
  • 利用python代码生成词云,里面包含完整代码和多张二位图、运行效果图、字体文件以及备用词语文件。需要依赖的包请参考博客具体描述。
  • Python 生成词云

    2021-01-04 17:40:25
    import wordcloud #词云展示库 from PIL import Image #图像处理库 #读取文件的内容 fs = open('text.txt') content = fs.read() fs.close() #文本预处理,定义正则表达式匹配模式,将符合模式的字符去除 pattern = ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,768
精华内容 4,307
关键字:

python生成词云