最近开始学习Python，但只限于看理论，编几行代码，觉得没有意思，就想能不能用Python编写可视化的界面。遂查找了相关资料，发现了PyQt，由于前一段时间刚看过Qt，而且对Qt的印象很好，于是觉得用PyQt应该是一个比较愉快的选择。

1、前言

    PyQt的版本需要与Python的版本保持一致，在这里我用的PyQT的版本是 PyQt5-5.6-gpl-Py3.5-Qt5.6.0-x64.exe，具体下载方式，请直接搜索。由于该版本需要v3.5版本的Python，所以首先需要安装Python3.5，然后安装PyQt，为了更加方便的写代码，故安装了Pycharm，版本为pycharm-community-2017.3.2.exe。具体的下载、安装，网上有很多教程，在这里就不多做描述，请自行搜索，下面就先介绍基于Pycharm+Python3.5+PyQt5.6的Python可视化编程。文末还会介绍一下基于最新版本的Pycharm2018.3+Python3.7+PyQt5.11的Python可视化编程。

2、开始

1）、打开PyCharm并配置相关设置

    打开PyCharm界面如下：



    点击界面右下方的“Configure”下拉按钮，选择“Settings”，如下所示：



    打开如下设置界面：



    如上图所示，在“Project Interpreter”选显卡中选择本机所安装的Python版本，一般情况下，它会自动识别本机所安装的Python版本，如图所示，选择的为Python3.5；

    配置完成之后，点击“OK”，返回开始界面，

    选择“Create New Project”，选择工程路径和工程的名称，然后点击"Create"，然后弹出如下界面：



    此时，工作环境已准备完毕；

3、编写

1）、首先，创建一个.py文件，暂命名为PyQt.py

2）、其次，需要导入PyQt的文件如下所示：

import sys
from PyQt5.QtWidgets import QWidget, QApplication

注意，如果提示找不到对应文件，请确保PyQt5的安装路径在环境变量中！

然后先添加主函数：

if __name__ == "__main__":
    app = QApplication(sys.argv)
    sys.exit(app.exec_())

接下来就需要添加界面相关函数：

#class Example
class Example(QWidget):
    def __init__(self):
        super(Example, self).__init__()
        self.InitUI()

    def InitUI(self):
        self.btn = QPushButton("Dialog", self)
        self.btn.move(20, 20)
        self.btn.clicked.connect(self.ShowDialog)

        self.le = QLineEdit(self)
        self.le.move(130, 22)

        self.setWindowTitle("Input Dialog")
        self.show()

    def ShowDialog(self):
        text,ok = QInputDialog.getText(self, "Input Dialog", "Enter your name:")
        if ok:
            self.le.setText(str(text))

如上代码所示，在Python中主要是通过类来生成界面的，在类中，可以进行界面的生成，控件的创建，创建控件的响应函数，connect控件与控件响应函数。

其中函数 __init__(self) 可以理解为该类的构造函数，其中界面的初始化在该部分执行；

函数 InitUI(self) 主要是生成界面控件；

当类创建完成后，只需要在主函数中调用该类即可。如下所示：

if __name__ == "__main__":
    app = QApplication(sys.argv)
    ex = Example()
    sys.exit(app.exec_())

在以上的代码中，主要是在界面中添加了一个按钮（btn），一个编辑框（le），一个按钮响应函数（ShowDialog），其中在ShowDialog响应函数中打开了一个标准输入窗口，并将标准输入窗口中输入的值显示到编辑框（le）中。
  

结果：



4、扩展

    在接下来做了一个更加复杂的例子，主要是模拟汇率的解算，界面主要如下所示：



其中主要涉及了按钮、编辑框、Label、布局等 ，

与第一个例子写在了同一个文件中，可点击一下链接下载：

http://download.csdn.net/download/bailang_zhizun/10249579

5、最新版本配置方法

采用最新版本的Python、PyQt、Pycharm配置可视化编程环境。

首先先安装Python3.7，然后安装Pycharm2018.3，并配置python解释器为Python3.7的本地目录，接下来就是安装PyQt5.11。

安装PyQt5.11是采用pip+wheel文件安装的形式，下载网址：https://pypi.org/project/PyQt5/#files

关于pip的安装请参考https://blog.csdn.net/bailang_zhizun/article/details/84563095

把下载的PyQt5-5.11.3-5.11.2-cp35.cp36.cp37.cp38-none-win_amd64.whl文件放置到合适的位置。

打开CMD，按照以下形式输入安装命令：



回车，pip就会自动安装该文件了：



此时PyQt5.11就安装成功了。

可以通过以上的代码进行测试。

6、Ubuntu下python2.7安装pyqt5

上面记录的都是在windows+python3环境下pyqt5的安装。由于工作需要，需要在Ubuntu+python2.7环境下安装pyqt5，根据pyqt5的官网，pyqt5只有针对python3的安装包，而没有python2.7的，所以可以通过在线安装的方式安装，下面是Ubuntu+python2.7环境下pyqt5的安装：

在ubuntu中打开终端，直接输入：

$sudo apt-get install python-pyqt5

即可,安装完成之后，直接在代码编辑页面import PyQt5即可，亲测可用。

另外，上面这种方式好像还可以用于ubuntu+python3环境下pyqt5的安装，也是通过命令安装：

$sudo apt-get install python3-pyqt5

上面未经测试，但是应该没问题。

 

之前写过篇爬取前程无忧职位信息并保存到Excel的博客，

这里仔细的讲讲并且增加可视化内容
文章目录
1.数据挖掘
2.数据清洗
3.数据可视化
这里特别强调，pyecharts包千万别装新版的，我这里装的是0.5.9版的
其次如果要做地理坐标图，热力图啥的，必须安装地图包，比如世界地图包，中国地图包，城市地图包啥的
【反馈】

1.数据挖掘
代码所需包
import urllib.request
import xlwt
import re
import urllib.parse
import time

进入前程无忧官网

我这里以搜索大数据职位信息



打开开发者模式

Request  Headers 里面是我们用浏览器访问网站的信息，有了信息后就能模拟浏览器访问

这也是为了防止网站封禁IP，不过前程无忧一般是不会封IP的。



模拟浏览器
header={
    'Host':'search.51job.com',
    'Upgrade-Insecure-Requests':'1',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}



这些基本数据都可以爬取：

为了实现交互型爬取，我写了一个能够实现输入想了解的职位就能爬取相关内容的函数
def getfront(page,item):       #page是页数，item是输入的字符串，见后文
     result = urllib.parse.quote(item)					#先把字符串转成十六进制编码
     ur1 = result+',2,'+ str(page)+'.html'
     ur2 = 'https://search.51job.com/list/000000,000000,0000,00,9,99,'
     res = ur2+ur1															#拼接网址
     a = urllib.request.urlopen(res)
     html = a.read().decode('gbk')          # 读取源代码并转为unicode
     return html

def getInformation(html):
    reg = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)" href="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)" href="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*?<span class="t5">(.*?)</span>.*?',re.S)#匹配换行符
    items=re.findall(reg,html)
    return items

这里我除了爬取图上信息外，还把职位超链接后的网址，以及公司超链接的网址爬取下来了。

这里先不讲，后面后面会说到，

接下来就需要储存信息，这里使用Excel，虽然比较麻烦，不过胜在清晰直观
#新建表格空间
excel1 = xlwt.Workbook()
# 设置单元格格式
sheet1 = excel1.add_sheet('Job', cell_overwrite_ok=True)
sheet1.write(0, 0, '序号')
sheet1.write(0, 1, '职位')
sheet1.write(0, 2, '公司名称')
sheet1.write(0, 3, '公司地点')
sheet1.write(0, 4, '公司性质')
sheet1.write(0, 5, '薪资')
sheet1.write(0, 6, '学历要求')
sheet1.write(0, 7, '工作经验')
sheet1.write(0, 8, '公司规模')
sheet1.write(0, 9, '公司类型')
sheet1.write(0, 10,'公司福利')
sheet1.write(0, 11,'发布时间')

爬取代码如下，这里就能利用双层循环来实现换页爬取与换行输出

我这里为了获得大量数据所以爬取了1000页，调试时可以只爬取几页
number = 1
item = input()
for j in range(1,10000):   #页数自己随便改
    try:
        print("正在爬取第"+str(j)+"页数据...")
        html = getfront(j,item)      #调用获取网页原码
        for i in getInformation(html):
            try:
                url1 = i[1]          #职位网址
                res1 = urllib.request.urlopen(url1).read().decode('gbk')
                company = re.findall(re.compile(r'<div class="com_tag">.*?<p class="at" title="(.*?)"><span class="i_flag">.*?<p class="at" title="(.*?)">.*?<p class="at" title="(.*?)">.*?',re.S),res1)
                job_need = re.findall(re.compile(r'<p class="msg ltype".*?>.*?&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;.*?</p>',re.S),res1)
                welfare = re.findall(re.compile(r'<span class="sp4">(.*?)</span>',re.S),res1)
                print(i[0],i[2],i[4],i[5],company[0][0],job_need[2][0],job_need[1][0],company[0][1],company[0][2],welfare,i[6])
                sheet1.write(number,0,number)
                sheet1.write(number,1,i[0])
                sheet1.write(number,2,i[2])
                sheet1.write(number,3,i[4])
                sheet1.write(number,4,company[0][0])
                sheet1.write(number,5,i[5])
                sheet1.write(number,6,job_need[1][0])
                sheet1.write(number,7,job_need[2][0])
                sheet1.write(number,8,company[0][1])
                sheet1.write(number,9,company[0][2])
                sheet1.write(number,10,("  ".join(str(i) for i in welfare)))
                sheet1.write(number,11,i[6])
                number+=1
                excel1.save("51job.xls")
                time.sleep(0.3) #休息间隔，避免爬取海量数据时被误判为攻击，IP遭到封禁
            except:
                pass
    except:
        pass

结果如下：




2.数据清洗
首先要打开文件
#coding:utf-8
import pandas as pd
import re
#除此之外还要安装xlrd包

data = pd.read_excel(r'51job.xls',sheet_name='Job')
result = pd.DataFrame(data)

清洗思路：

1、出现有空值（NAN）得信息，直接删除整行
a = result.dropna(axis=0,how='any')
pd.set_option('display.max_rows',None)     #输出全部行，不省略

2、职位出错（很多职位都是与大数据无关的职业）


b = u'数据'
number = 1
li = a['职位']
for i in range(0,len(li)):
    try:
        if b in li[i]:
            #print(number,li[i])
            number+=1
        else:
            a = a.drop(i,axis=0)
    except:
        pass

3、其他地方出现的信息错位，比如在学历里出现  ‘招多少人’


b2= u'人'
li2 = a['学历要求']
for i in range(0,len(li2)):
    try:
        if b2 in li2[i]:
            #print(number,li2[i])
            number+=1
            a = a.drop(i,axis=0)
    except:
        pass

4、转换薪资单位

如上图就出现单位不一致的情况
b3 =u'万/年'
b4 =u'千/月'
li3 = a['薪资']
#注释部分的print都是为了调试用的
for i in range(0,len(li3)):
    try:
        if b3 in li3[i]:
            x = re.findall(r'\d*\.?\d+',li3[i])
            #print(x)
            min_ = format(float(x[0])/12,'.2f')              #转换成浮点型并保留两位小数
            max_ = format(float(x[1])/12,'.2f')
            li3[i][1] = min_+'-'+max_+u'万/月'
        if b4 in li3[i]:
            x = re.findall(r'\d*\.?\d+',li3[i])
            #print(x)
            #input()
            min_ = format(float(x[0])/10,'.2f')
            max_ = format(float(x[1])/10,'.2f')
            li3[i][1] = str(min_+'-'+max_+'万/月')
        print(i,li3[i])

    except:
        pass

保存到另一个Excel文件
a.to_excel('51job2.xls', sheet_name='Job', index=False)

这里只是简单的介绍了一些数据清理的思路，并不是说只要清理这些就行了

有时候有的公司网页并不是前程无忧类型的，而是他们公司自己做的网页，这也很容易出错

不过只要有了基本思路，这些都不难清理
3.数据可视化
数据可视化可以说是很重要的环节，如果只是爬取数据而不去可视化处理，那么可以说数据的价值根本没有发挥

可视化处理能使数据更加直观，更有利于分析

甚至可以说可视化是数据挖掘最重要的内容
同样的我们先看代码需要的包
# -*- coding: utf-8 -*-
import pandas as pd
import re
from pyecharts import Funnel,Pie,Geo
import matplotlib.pyplot as plt

这里特别强调，pyecharts包千万别装新版的，我这里装的是0.5.9版的

其次如果要做地理坐标图，热力图啥的，必须安装地图包，比如世界地图包，中国地图包，城市地图包啥的


接下来就是正戏

一样的先要打开文件
file = pd.read_excel(r'51job2.xls',sheet_name='Job')
f = pd.DataFrame(file)
pd.set_option('display.max_rows',None)

1、创建多个列表来单独存放【‘薪资’】【‘工作经验’】【‘学历要求’】【‘公司地点’】等信息
add = f['公司地点']
sly = f['薪资']
edu = f['学历要求']
exp = f['工作经验']
address =[]
salary = []
education = []
experience = []
for i in range(0,len(f)):
    try:
        a = add[i].split('-')
        address.append(a[0])
        #print(address[i])
        s = re.findall(r'\d*\.?\d+',sly[i])
        s1= float(s[0])
        s2 =float(s[1])
        salary.append([s1,s2])
        #print(salary[i])
        education.append(edu[i])
        #print(education[i])
        experience.append(exp[i])
        #print(experience[i])
    except:
       pass

2、matploblib库生成  工作经验—薪资图   与   学历—薪资图
min_s=[]							#定义存放最低薪资的列表
max_s=[]							#定义存放最高薪资的列表
for i in range(0,len(experience)):
    min_s.append(salary[i][0])
    max_s.append(salary[i][0])

my_df = pd.DataFrame({'experience':experience, 'min_salay' : min_s, 'max_salay' : max_s})				#关联工作经验与薪资
data1 = my_df.groupby('experience').mean()['min_salay'].plot(kind='line')
plt.show()
my_df2 = pd.DataFrame({'education':education, 'min_salay' : min_s, 'max_salay' : max_s})				#关联学历与薪资
data2 = my_df2.groupby('education').mean()['min_salay'].plot(kind='line')
plt.show()





3、学历要求圆环图
def get_edu(list):
    education2 = {}
    for i in set(list):
        education2[i] = list.count(i)
    return education2
dir1 = get_edu(education)
# print(dir1)

attr= dir1.keys()
value = dir1.values()
pie = Pie("学历要求")
pie.add("", attr, value, center=[50, 50], is_random=False, radius=[30, 75], rosetype='radius',
        is_legend_show=False, is_label_show=True,legend_orient='vertical')
pie.render('学历要求玫瑰图.html')





4、大数据城市需求地理位置分布图
def get_address(list):
    address2 = {}
    for i in set(list):
        address2[i] = list.count(i)
    address2.pop('异地招聘')
    # 有些地名可能不合法或者地图包里没有可以自行删除，之前以下名称都会报错，现在好像更新了
    #address2.pop('山东')
    #address2.pop('怒江')
    #address2.pop('池州')
    return address2
dir2 = get_address(address)
#print(dir2)

geo = Geo("大数据人才需求分布图", title_color="#2E2E2E",
          title_text_size=24,title_top=20,title_pos="center", width=1300,height=600)
attr2 = dir2.keys()
value2 = dir2.values()
geo.add("",attr2, value2, type="effectScatter", is_random=True, visual_range=[0, 1000], maptype='china',symbol_size=8, effect_scale=5, is_visualmap=True)
geo.render('大数据城市需求分布图.html')





5、工作经验要求漏斗图
def get_experience(list):
    experience2 = {}
    for i in set(list):
         experience2[i] = list.count(i)
    return experience2
dir3 = get_experience(experience)
#print(dir3)

attr3= dir3.keys()
value3 = dir3.values()
funnel = Funnel("工作经验漏斗图",title_pos='center')
funnel.add("", attr3, value3,is_label_show=True,label_pos="inside", label_text_color="#fff",legend_orient='vertical',legend_pos='left')
funnel.render('工作经验要求漏斗图.html')





当然，pyecharts里面的图还有很多种，就靠大家去自己发掘了。
【反馈】
接到部分人反应的乱码情况，主要可能是因为网站规则变动。我去重新更新了一下代码，并且改进了一些地方，如果遇到爬取过程中途停下的情况，可能是网络问题或者陷入阻塞，可以重新运行一次代码
所有代码如下：
# -*- coding:utf-8 -*-
import urllib.request
import xlwt
import re
import urllib.parse
import time
header={
    'Host':'search.51job.com',
    'Upgrade-Insecure-Requests':'1',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
def getfront(page,item):       #page是页数，item是输入的字符串
     result = urllib.parse.quote(item)					#先把字符串转成十六进制编码
     ur1 = result+',2,'+ str(page)+'.html'
     ur2 = 'https://search.51job.com/list/000000,000000,0000,00,9,99,'
     res = ur2+ur1															#拼接网址
     a = urllib.request.urlopen(res)
     html = a.read().decode('gbk')          # 读取源代码并转为unicode
     return html
def getInformation(html):
    reg = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)" href="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)" href="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*?<span class="t5">(.*?)</span>.*?',re.S)#匹配换行符
    items=re.findall(reg,html)
    return items
#新建表格空间
excel1 = xlwt.Workbook()
# 设置单元格格式
sheet1 = excel1.add_sheet('Job', cell_overwrite_ok=True)
sheet1.write(0, 0, '序号')
sheet1.write(0, 1, '职位')
sheet1.write(0, 2, '公司名称')
sheet1.write(0, 3, '公司地点')
sheet1.write(0, 4, '公司性质')
sheet1.write(0, 5, '薪资')
sheet1.write(0, 6, '学历要求')
sheet1.write(0, 7, '工作经验')
sheet1.write(0, 8, '公司规模')
sheet1.write(0, 9, '公司类型')
sheet1.write(0, 10,'公司福利')
sheet1.write(0, 11,'发布时间')
number = 1
item = input()
for j in range(1,10000):   #页数自己随便改
    try:
        print("正在爬取第"+str(j)+"页数据...")
        html = getfront(j,item)      #调用获取网页原码
        for i in getInformation(html):
            try:
                url1 = i[1]          #职位网址
                res1 = urllib.request.urlopen(url1).read().decode('gbk')
                company = re.findall(re.compile(r'<div class="com_tag">.*?<p class="at" title="(.*?)"><span class="i_flag">.*?<p class="at" title="(.*?)">.*?<p class="at" title="(.*?)">.*?',re.S),res1)
                job_need = re.findall(re.compile(r'<p class="msg ltype".*?>.*?&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;.*?</p>',re.S),res1)
                welfare = re.findall(re.compile(r'<span class="sp4">(.*?)</span>',re.S),res1)
                print(i[0],i[2],i[4],i[5],company[0][0],job_need[2][0],job_need[1][0],company[0][1],company[0][2],welfare,i[6])
                sheet1.write(number,0,number)
                sheet1.write(number,1,i[0])
                sheet1.write(number,2,i[2])
                sheet1.write(number,3,i[4])
                sheet1.write(number,4,company[0][0])
                sheet1.write(number,5,i[5])
                sheet1.write(number,6,job_need[2][0])
                sheet1.write(number,7,job_need[1][0])
                sheet1.write(number,8,company[0][1])
                sheet1.write(number,9,company[0][2])
                sheet1.write(number,10,("  ".join(str(i) for i in welfare)))
                sheet1.write(number,11,i[6])
                number+=1
                excel1.save("51job.xls")
                time.sleep(0.3) #休息间隔，避免爬取海量数据时被误判为攻击，IP遭到封禁
            except:
                pass
    except:
        pass

#coding:utf-8
import pandas as pd
import re

data = pd.read_excel(r'51job.xls',sheet_name='Job')
result = pd.DataFrame(data)

a = result.dropna(axis=0,how='any')
pd.set_option('display.max_rows',None)     #输出全部行，不省略

b = u'数据'
number = 1
li = a['职位']
for i in range(0,len(li)):
    try:
        if b in li[i]:
            #print(number,li[i])
            number+=1
        else:
            a = a.drop(i,axis=0)  #删除整行
    except:
        pass

b2 = '人'
li2 = a['学历要求']
for i in range(0,len(li2)):
    try:
        if b2 in li2[i]:
            # print(number,li2[i])
            number += 1
            a = a.drop(i, axis=0)
    except:
        pass

b3 =u'万/年'
b4 =u'千/月'
li3 = a['薪资']
#注释部分的print都是为了调试用的
for i in range(0,len(li3)):
    try:
        if b3 in li3[i]:
            x = re.findall(r'\d*\.?\d+',li3[i])
            #print(x)
            min_ = format(float(x[0])/12,'.2f')              #转换成浮点型并保留两位小数
            max_ = format(float(x[1])/12,'.2f')
            li3[i][1] = min_+'-'+max_+u'万/月'
        if b4 in li3[i]:
            x = re.findall(r'\d*\.?\d+',li3[i])
            #print(x)
            #input()
            min_ = format(float(x[0])/10,'.2f')
            max_ = format(float(x[1])/10,'.2f')
            li3[i][1] = str(min_+'-'+max_+'万/月')
        print(i,li3[i])

    except:
        pass
a.to_excel('51job2.xls', sheet_name='Job', index=False)
#############################################################################################
import pandas as pd
import re
from pyecharts import Funnel,Pie,Geo
import matplotlib.pyplot as plt

file = pd.read_excel(r'51job2.xls',sheet_name='Job')
f = pd.DataFrame(file)
pd.set_option('display.max_rows',None)

add = f['公司地点']
sly = f['薪资']
edu = f['学历要求']
exp = f['工作经验']
address =[]
salary = []
education = []
experience = []
for i in range(0,len(f)):
    try:
        a = add[i].split('-')
        address.append(a[0])
        #print(address[i])
        s = re.findall(r'\d*\.?\d+',sly[i])
        s1= float(s[0])
        s2 =float(s[1])
        salary.append([s1,s2])
        #print(salary[i])
        education.append(edu[i])
        #print(education[i])
        experience.append(exp[i])
        #print(experience[i])
    except:
       pass

min_s=[]							#定义存放最低薪资的列表
max_s=[]							#定义存放最高薪资的列表
for i in range(0,len(experience)):
    min_s.append(salary[i][0])
    max_s.append(salary[i][0])
#matplotlib模块如果显示不了中文字符串可以用以下代码。
plt.rcParams['font.sans-serif'] = ['KaiTi'] # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题

my_df = pd.DataFrame({'experience':experience, 'min_salay' : min_s, 'max_salay' : max_s})				#关联工作经验与薪资
data1 = my_df.groupby('experience').mean()['min_salay'].plot(kind='line')
plt.show()
my_df2 = pd.DataFrame({'education':education, 'min_salay' : min_s, 'max_salay' : max_s})				#关联学历与薪资
data2 = my_df2.groupby('education').mean()['min_salay'].plot(kind='line')
plt.show()

def get_edu(list):
    education2 = {}
    for i in set(list):
        education2[i] = list.count(i)
    return education2
dir1 = get_edu(education)
# print(dir1)

attr= dir1.keys()
value = dir1.values()
pie = Pie("学历要求")
pie.add("", attr, value, center=[50, 50], is_random=False, radius=[30, 75], rosetype='radius',
        is_legend_show=False, is_label_show=True,legend_orient='vertical')
pie.render('学历要求玫瑰图.html')

def get_address(list):
    address2 = {}
    for i in set(list):
        address2[i] = list.count(i)
    address2.pop('异地招聘')
    # 有些地名可能不合法或者地图包里没有可以自行删除，之前以下名称都会报错，现在好像更新了
    #address2.pop('山东')
    #address2.pop('怒江')
    #address2.pop('池州')
    return address2
dir2 = get_address(address)
#print(dir2)

geo = Geo("大数据人才需求分布图", title_color="#2E2E2E",
          title_text_size=24,title_top=20,title_pos="center", width=1300,height=600)
attr2 = dir2.keys()
value2 = dir2.values()
geo.add("",attr2, value2, type="effectScatter", is_random=True, visual_range=[0, 1000], maptype='china',symbol_size=8, effect_scale=5, is_visualmap=True)
geo.render('大数据城市需求分布图.html')

def get_experience(list):
    experience2 = {}
    for i in set(list):
         experience2[i] = list.count(i)
    return experience2
dir3 = get_experience(experience)
#print(dir3)

attr3= dir3.keys()
value3 = dir3.values()
funnel = Funnel("工作经验漏斗图",title_pos='center')
funnel.add("", attr3, value3,is_label_show=True,label_pos="inside", label_text_color="#fff",legend_orient='vertical',legend_pos='left')
funnel.render('工作经验要求漏斗图.html')




HTML文件最好用谷歌浏览器打开，如果点开没反应可以在文件夹里找到该文件然后打开


最近比较多人说爬取数据没有动静，我去看了下，其实不是什么问题，就是网页源码有更改，之前python爬取到的信息是用HTML写的，而现在数据那里是JavaScript写的，这样的话正则肯定就不匹配了。我也花时间改了改。有些东西也去的去，加的加，不过不影响后面数据可视化。
# -*- coding:utf-8 -*-
import urllib.request
import xlwt
import re
import urllib.parse
import time
header={
    'Host':'search.51job.com',
    'Upgrade-Insecure-Requests':'1',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
def getfront(page,item):       #page是页数，item是输入的字符串
     result = urllib.parse.quote(item)					#先把字符串转成十六进制编码
     ur1 = result+',2,'+ str(page)+'.html'
     ur2 = 'https://search.51job.com/list/000000,000000,0000,00,9,99,'
     res = ur2+ur1    #拼接网址
     a = urllib.request.urlopen(res)
     html = a.read().decode('gbk')      # 读取源代码并转为unicode
     html = html.replace('\\','')       # 将用于转义的"\"替换为空
     html = html.replace('[', '')
     html = html.replace(']', '')
     #print(html)
     return html

def getInformation(html):
    reg = re.compile(r'\{"type":"engine_search_result","jt":"0".*?"job_href":"(.*?)","job_name":"(.*?)".*?"company_href":"(.*?)","company_name":"(.*?)","providesalary_text":"(.*?)".*?"updatedate":"(.*?)".*?,'
                     r'"companytype_text":"(.*?)".*?"jobwelf":"(.*?)".*?"attribute_text":"(.*?)","(.*?)","(.*?)","(.*?)","companysize_text":"(.*?)","companyind_text":"(.*?)","adid":""},',re.S)#匹配换行符
    items=re.findall(reg,html)
    print(items)
    return items

#新建表格空间
excel1 = xlwt.Workbook()
# 设置单元格格式
sheet1 = excel1.add_sheet('Job', cell_overwrite_ok=True)
sheet1.write(0, 0, '序号')
sheet1.write(0, 1, '职位')
sheet1.write(0, 2, '公司名称')
sheet1.write(0, 3, '公司地点')
sheet1.write(0, 4, '公司性质')
sheet1.write(0, 5, '薪资')
sheet1.write(0, 6, '学历要求')
sheet1.write(0, 7, '工作经验')
sheet1.write(0, 8, '公司规模')
#sheet1.write(0, 9, '公司类型')
sheet1.write(0, 9,'公司福利')
sheet1.write(0, 10,'发布时间')
number = 1
item = input()

for j in range(1,10):   #页数自己随便改
    try:
        print("正在爬取第"+str(j)+"页数据...")
        html = getfront(j,item)      #调用获取网页原码
        for i in getInformation(html):
            try:
                #url1 = i[1]          #职位网址
                #res1 = urllib.request.urlopen(url1).read().decode('gbk')
                #company = re.findall(re.compile(r'<div class="com_tag">.*?<p class="at" title="(.*?)"><span class="i_flag">.*?<p class="at" title="(.*?)">.*?<p class="at" title="(.*?)">.*?',re.S),res1)
                #job_need = re.findall(re.compile(r'<p class="msg ltype".*?>.*?&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;(.*?)&nbsp;&nbsp;<span>|</span>&nbsp;&nbsp;.*?</p>',re.S),res1)
                #welfare = re.findall(re.compile(r'<span class="sp4">(.*?)</span>',re.S),res1)
                #print(i[0],i[2],i[4],i[5],company[0][0],job_need[2][0],job_need[1][0],company[0][1],company[0][2],welfare,i[6])
                sheet1.write(number,0,number)
                sheet1.write(number,1,i[1])
                sheet1.write(number,2,i[3])
                sheet1.write(number,3,i[8])
                sheet1.write(number,4,i[6])
                sheet1.write(number,5,i[4])
                sheet1.write(number,6,i[10])
                sheet1.write(number,7,i[9])
                sheet1.write(number,8,i[12])
                #sheet1.write(number,9,i[7])
                sheet1.write(number,9,i[7])
                sheet1.write(number,10,i[5])
                number+=1
                excel1.save("51job.xls")
                time.sleep(0.3) #休息间隔，避免爬取海量数据时被误判为攻击，IP遭到封禁
            except:
                pass
    except:
        pass

顺便放上源码：https://github.com/haohaizhi/51job_spiders

1. plotly 介绍

Plotly是一个非常著名且强大的开源数据可视化框架，它通过构建基于浏览器显示的web形式的可交互图表来展示信息，可创建多达数十种精美的图表和地图，

下面我们以jupyter notebook为开发工具数据分析。Matplotlib存在不够美观、静态性、不易分享等缺点，限制了Python在数据可视化中的发展。为了解决这个问题，新型的动态可视化开源模块Plotly应运而生。

由于Plotly具有动态、美观、易用、种类丰富等特性。


可以说，plotly 在Python 绘制图表的时候，是一种顶层的绘制方式。

我们首先通过plotly官方网站看看数据可视化效果图，这里截取了一部分的效果，发现真是无比强大，并且还支持数据/图片在线编辑




2. plotly 两种方式绘制图表

Plotly是集成了在线通过菜单操作绘图与离线通过代码绘图多种绘图方式的绘图系统。如果使用在线方式，在使用plotly的时候，需要在官网注册一个个人账号，设置个人密码。


在线：将你的可视化图像保存到网站上，便于共享和保存。

离线：直接在本地生成可视化图像，便于使用。（推荐使用离线方式，方便查看和阅读）


下面主要从Python的角度来分析plotly的绘图原理及方法：

3. plotly绘图


基本图表：20种

统计和海运方式图：12种

科学图表：21种

财务图表：2种

地图：8种

3D图表：19种

报告生成：4种

连接数据库：7种

拟合工具：3种

流动图表：4种

JavaScript添加自定义控件：13种


 



4. 第一个Python 的plotly ，带你入门


 

import matplotlib.pyplot as plt
%matplotlib inline
import plotly
import plotly.graph_objs as go
from plotly.offline import init_notebook_mode,iplot
init_notebook_mode(connected=True)
import warnings
warnings.filterwarnings('ignore')
import numpy as np
import pandas as pd
plotly.__version__





接下来我们可以绘制一个plotly的程序，看看到底是什么效果

 

x = [1,2,3,4]
y = [10,15,13,17]
trace0 = go.Scatter(
    x = x,
    y = y
)
print(trace0)

data = [trace0]
print(data)

iplot(data)





5. 可视化图表数据案例

本案例使用的数据介绍： 泰坦尼克号数据、鸢尾花数据、航班数据、金融类数据。 通过这些实际数据分析，可以快速 让大家掌握plotly 在实际工作中是如何进行数据分析的。



 

6. 金融数据 时序图案例

通过可以通过时序图 每个时间点的变化，例如： 金融领域，可以通过该方法来了解一下股价 变了的趋势

统计金融数据每天股价的变化趋势进行分析



data = [
    
    go.Scatter(
        x=finance['Date'],
        y=finance['AAPL.High'],
        name = 'AAPL.High'
    ),
     go.Scatter(
        x=finance['Date'],
        y=finance['AAPL.Low'],
        name = 'AAPL.Low'
    )
]

layout = go.Layout(
    title = '金融股价的变化趋势'
)

fig = go.Figure(data = data,layout=layout)
iplot(fig)

我们来看看绘制的图形



专注于使用Plotly 进行动态的数据分析，进一步的数据分析，如果大家有兴趣，可以参考一下内容学习：

欢迎关注，一起交流讨论！

Python 数据可视化库Plotly 主要知识点如下：



针对使用Python plotly 绘制的部分图表如下： 



 

 



 

 



 

 

数据可视化：把相对复杂的、抽象的数据通过可视的、交互的方式进行展示，从而形象直观地表达数据蕴含的信息和规律。

数据可视化是数据空间到图形空间的映射，是抽象数据的具象表达。

数据可视化交互的基本原则：总览为先，缩放过滤按需查看细节。
大屏数据可视化是当前可视化领域的一项热门应用，通常可以分为信息展示类、数据分析类及监控预警类。

大屏数据可视化应用的难点并不在于图表类型的多样化，而在于如何能在简单的一页之内让用户读懂数据之间的层次与关联，这就关系到布局、色彩、图表、动效的综合运用。如排版布局应服务于业务，避免为展示而展示；配色一般以深色调为主，注重整体背景和单个视觉元素背景的一致性。

制作可视化大屏，最便捷有效的方式是使用DataV、帆软等报表工具，而本示例项目则使用ECharts自行开发。
项目案例 - 上市公司全景概览


地图数据可视化 - 基于ECharts Geo


3D图表展示 - 基于ECharts GL


热力图展示 - 基于ECharts & 百度地图


ECharts扩展示例


旭日图 - 基于ECharts V4.2


地理信息数据 - ECharts & Baidu Map


项目Git地址：https://github.com/yyhsong/iDataV

演示地址：https://yyhsong.github.io/iDataV
后记：

除自行开发可视化大屏外，还可以通过第三方服务来快速实现，如阿里云DataV、腾讯云图、百度Sugar等，具体可参考：https://blog.csdn.net/hwhsong/article/details/83097924。