爬取前程无忧招聘网站十万条招聘信息并存入数据库

1.首先导入本次需要用到的包

import json #网页可能使用json写的数据
import re   #正则表达式
import pymysql #导入pymysql等下需要连接数据库存储爬虫数据
import requests #导入请求包，获取网页
from bs4 import BeautifulSoup #网页源码解析器

2.进行爬虫

#数据库存储的操作可以在爬虫之后进行(可先看第二部分爬虫)
cur = pymysql.connect(user='',
                      password="",
                      host='',
                      database='')
#连接数据库，ctrl+p可以查看需要的参数。
​
def save(update_time, positon_name, salary, job, company_type, company_name, company_size, attribute, workarea):#定义一个save函数传入所需参数
    cursor = cur.cursor()#游标
    sql = f"insert into lhlqianchengwuyou (update_time,positon_name, salary,job, company_type, company_name, company_size, attribute, workarea) values ('{update_time}','{positon_name}','{salary}','{job}','{company_type}','{company_name}','{company_size}','{attribute}','{workarea}')"     
    #sql插入语句
    #操作捕捉异常，如果没有异常则继续执行，如若有则抛出异常
    try:
        cursor.execute(sql)#执行sql语句
        cur.commit()#提交至数据库
    except Exception as e:
        print(e)
        print(sql)
​
​
​
#爬虫部分
a = 1#定义一个变量后面需要用到，变量根据网页上面所需参数定义（可在后面操作）
#首先封装一个函数来获取网页链接这样后面就只需要调用了
#传入参数url
#函数内定义一个变量，用requests.get取到这个网页，一点点的去试，看需要传入什么头部信息才可以取到网页源码
def get_url(url):
    s = requests.get(
        url, headers={
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
​
        }
    )
​
    return s.text
​
#分析网页，发现网页属于json类型的爬虫，所以直接去取到网页源码，不需要用到解析，所以之前封装中没有用到解析
count = 0 
#计数，每次爬取完一个网页记一个数，方便查看爬虫进度
while a < 2001:
#分析发现每次换一页只会改变其中一个参数，所以定义一个变量a，a小于网页总页数（网页总共2000页，当然也可以使用while=True），当a大于2001时跳出循环（记得url中一定要加f不然变量不会生效）
    url = get_url(
        f'https://search.51job.com/list/000000,000000,0000,32,9,99,+,2,{a}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=')
    count += 1 #网页计数自增
    p = re.findall(r"window.__SEARCH_RESULT__ =.*?</script>", url)[0][27:-9]  
#用正则表达式找到需要的值，可以直接取值然后用'.*?'表示匹配任意字符到下一个符合条件的字符，最后再用数据尾部结尾。
#数组取出第0项，再用切片切掉不要的数据
   
    #循环取值
    #需要用到json.loads()函数，它是将json格式数据转换为字典（可以这么理解，json.loads()函数是将字符串转化为字典）
    
    for i in json.loads(p)['engine_jds']:
        positon_name = i['job_name']
        update_time = i["updatedate"]
        salary = i["providesalary_text"]
        workarea = i["workarea_text"]
        company_type = i["companytype_text"]
        company_size = i["companysize_text"]
        job = i["jobwelf"]
        attribute = i["attribute_text"][1]
        company_name = i["company_name"]
        print(update_time, positon_name, salary, job, company_type, company_name, company_size, attribute, workarea)#打印出是否取到值
        save(update_time, positon_name, salary, job, company_type, company_name, company_size, attribute, workarea)#调用前面定义的save函数，将数据写入数据库
​
    print(count) #打印计数
    a += 1 #不断循环自增，直到2001跳出
​

安装MySQL

• 1、安装路径不要用中文 （以直接安装在D盘为例，否则还需要一些配置）
• 2、打开cmd时要用管理员身份（全程cmd都是管理员身份）

第一步

• cd D:\mysql-5.7.22-winx64\bin（全程都是这个文件下操作）
• 加到环境变量里path： D:\mysql-5.7.22-winx64\bin;

第二步：

• 1、数据路径自建一个空目录 datadir=D:\dbdata\mysqldata（或者直接建立两个文件夹）
  

第三步：

• 1、mysqld --initialize-insecure
• 2、mysqld -install
• 3、net start mysql

第四步：修改mysql的管理密码

• 1、（首先关闭MySQL服务器）：net stop mysql
• 2.打开安全模式，可以免密码登录：cmd中先跳转至安装目录下， 然后输入：mysqld --console --skip-grant-tables
• cmd窗口不要关闭
• 3.另开一个cmd窗口输入:mysql -uroot -p然后无需输入密码直接enter键进入；
• 4.接下来先打开mysql 数据库：use mysql;注意这几条命令后面的分号不可以省略 然后输入update mysql.user set authentication_string=password('root') where user='root'; 接着刷新权限：flush privileges; 接着退出：quit;
• ==然后把刚才安全模式下的cmd关掉
• 5.net start mysql 打开数据库
• 6.接下来就可以使用新密码登录了。用户名和密码：root root

安装MySQL-workbench

• 下载之后一定要装在c盘，不可瞎改位置，否则报错！！！！
• 之后建表什么的就非常easy了！（**如果一个文本特别多是一段话，用LONGTEXT类型！！！！！）

然后就可以把你爬下来的数据存入数据库里面了

然后有一些常见问题

• sql语句先在数据库那边测试没问题了，再往代码里面放
• 往数据库里面存的尽可能使规整的数据，可以方便下一步数据处理直接使用的数据；比如工资统一单位，去掉一些HTML标签等
• 如果你发现运行了很多次但是上面的统一单位等操作没有效果，记得清空一下数据库在重新运行即可，并不是你写的代码有问题 清空方法（以MySQL为例）：右键单击表，Truncate Table选择Truncate即可