爬数据
1 首先安装一个chrome 的浏览器
    http://103.254.64.34:9999/sw.bos.baidu.com/sw-search-sp/software/13d93a08a2990/ChromeStandalone_55.0.2883.87_Setup.exe

python3爬虫系列09之爬虫数据存入MySQL数据库
1. 前言
在上一篇当中呢，python3爬虫系列08之新版动态智联爬虫，我们已经把智联招聘的某地区，某岗位，某页数的所有数据爬下来了，然后保存为了一个text文件。
这一篇呢，我们说说把数据存入数据库的操作，毕竟真的项目爬虫出来，数据肯定是要入库的。
反正我以前搞java的，所以还是要学习一下的关于python怎么操作数据库的？
说到数据库呢。在当今的互联网企业中，最常用的数据库模式主要有两种，即关系型数据库和非关系型数据库。



数据库现在分：
SQL关系型数据库：常见的MySQL和Oracle数据库、SQL Server
NoSQL非关系型数据库：
键值存储数据库：Redis、
列存储数据库：HBase、
面向文档数据库：MongoDB、

更多请参考百度百科：数据库。
这里以Mysql为例（主要是其他我也不会啊~）：
为了使python连接上数据库，你需要一个驱动，这个驱动是用于与数据库交互的库。是一个叫PyMySQL 的工具。
2.什么是 PyMySQL？
PyMySQL ： 这是一个使Python连接到MySQL的库，它是一个纯Python库。
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。
手动安装：

PyMySQL 下载地址：https://github.com/PyMySQL/PyMySQL
或
命令安装：

$ pip install PyMySQL
PyMySQL支持的python版本：

python2

python2.7

python3

python version >=3.4

查看PyMySQL版本信息，运行以下语句：

pip show PyMySQL

图示：


算了，我不就懒得科普了。
3. 数据库建立
继续上一篇文章的爬取结果呢，我们是存入在txt中，现在要存到Mysql数据库中去。
所以，首先要打开你的mysql。

打开你自己的Mysql管理软件，我的是navicat ，然后新建一个数据库py_zljob，再新建一张表zljob，字段如下：



当然你可以运行如下SQL来自动建立：
CREATE TABLE `zljob` (
  `id` int(10) NOT NULL auto_increment COMMENT 'id',
  `jobName` varchar(30) default '' COMMENT '岗位',
  `city` varchar(30) default NULL COMMENT '工作地点',
  `workingExp` varchar(30) default NULL COMMENT '工作经验',
  `salary` varchar(30) default NULL COMMENT '薪资',
  `eduLevel` varchar(30) default NULL COMMENT '学历',
  `company` varchar(30) default NULL COMMENT '公司名',
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=361 DEFAULT CHARSET=utf8;


这样建立好了我们用来存数据的数据表以后，就可以存数据了。
4. 撸码入库
继续上一篇文章的代码。
连接数据库前，请先确认以下事项：
•	已经创建了数据库 py_zljob.

•	在py_zljob数据库中您已经创建了表 zljob
在上次的代码基础上呢，我们新建一个操作数据库的函数。
代码如下：
# 入库Mysql
def save_data_sql(content):
    #print(type(content)) #　是生成器generator对象
    try:
        # 打开数据库连接-填入你Mysql的账号密码和端口
        conn = pymysql.connect(host='localhost',user='root',password='root',db='py_zljob')
        # 使用 cursor() 方法创建一个游标对象 cursor
        mycursor = conn.cursor()
        print('对应的是：',content['jobName'])
        sql = "INSERT INTO zljob(jobName,city,workingExp,salary,eduLevel,company) \
               VALUES (%s,%s,%s,%s,%s,%s)"
        params = (content['jobName'],content['city'],content['workingExp'],content['salary'],content['eduLevel'],content['company'])
        # 调用
        mycursor.execute(sql,params)
        #sql='select * from zljob'
        # 执行sql语句
        conn.commit()
        # 获取所有记录列表
        results = mycursor.fetchall()
        for row in results:
            print(row)
        print('成功插入', mycursor.rowcount, '条数据')
    except Exception:
        # 发生错误时回滚
        conn.rollback()
        print('发生异常')
    # 关闭数据库连接
    mycursor.close()
    conn.close()


然后在main函数中，调用写的这个函数。



运行一下：



打开数据库里面的表：


入库成功，好了，这就是我们的关于python3爬虫数据存入Mysql数据库的相关操作了。
更多关于python3使用PyMySQL对mysql增删查改工具类，请看：
python3使用PyMySQL对mysql增删查改工具类

下一篇是数据可视化了。源码在最后一篇哟，不要急，留下邮箱也可以发。
题外话：
注：如果你的MySQL的版本≥5.5.3，可以把编码设置为utf8mb4，utf8mb4和utf8完全兼容，但它支持最新的Unicode标准，可以显示emoji字符。
还不赶紧cmd打开，看看你的mysql？

mysql> show variables like ‘%char%’;

看到utf8字样就表示编码设置正确。

nodejs 之简单爬数据


准备

cheerio 插件

cheerio 是一个为服务器特别定制的，快速、灵活、实施的 jQuery 核心实现方案。
axios 插件

axios 是一个基于 promise 的 HTTP 库，可以用在浏览器和 node.js 中



代码
const fs = require("fs");
const cheerio = require("cheerio");
const axios = require("axios").default; // 发起一个网络请求获取数据
const books = [];
axios
.get(
"https://www.17k.com/top/refactor/top100/01_subscribe/01_subscribe__top_100_pc.html"
) //此链接为17k小说网的排行榜网址
.then((res) => {
const $ = cheerio.load(res.data);

    $(".BOX")
      .eq(0) // 获取指定索引位置的数据，返回一个jq实例
      .find("table tr") // find 查找符合元素选择条件的数据
      .each(function (index) {
        if (index > 0) {
          // 不取第一项
          let book = {};
          book.id = index;
          book.title = $(this).find("td").eq(2).find("a").text();
          book.link =
            "https:" + $(this).find("td").eq(2).find("a").attr("href");
          fs.mkdirSync("./books/" + book.title, {
            recursive: true,
          });
          books.push(book);
        }
      });
    fs.writeFileSync("./books.json", JSON.stringify(books));

});

    ```

Scrapy爬虫(七)：爬虫数据存储实例


Scrapy爬虫七爬虫数据存储实例
数据存储
配置mysql服务
在mysql中创建好四个item表
创建项目
运行爬虫





  
本章将实现数据存储到数据库的实例。




数据存储

scrapy支持将数据存储到文件,例如csv、jl、jsonlines、pickle、marshal、json、xml，少量的数据存储到数据库还行，如果超大量的数据存储到文件（当然图片还是要存文件的），就显得不太友好，毕竟这些数据要为我所用。

因此我们通常将数据存储到数据库，本处将介绍的是最常用的数据库mysql。我们也看到scrapy中的pipeline文件还没有用到，其实这个文件就是处理spider分发下来的item，我们可以在pipeline中处理文件的存储。

mysql库(PyMysql)的添加
打开pycharm File–>Default Settings–>Project interpreter点击左下角的“+”，搜索PyMysql，如图：



点击安装install package，如果无法安装可以选择将上面的install to user‘s site…勾选安装到Users目录下。



配置mysql服务

1、安装mysql



root@ubuntu:~# sudo apt-get install mysql-server



root@ubuntu:~# apt isntall mysql-client 



root@ubuntu:~# apt install libmysqlclient-dev 

期间会弹出设置root账户的密码框，输入两次相同密码。

2、查询是否安装成功



root@ubuntu:~# sudo netstat -tap | grep mysql 



root@ubuntu:~# netstat -tap | grep mysql

tcp6        0       0       [::]:mysql    [::]:*    LISTEN    7510/mysqld 

3、开启远程访问mysql

编辑mysql配置文件，注释掉“bind-address = 127.0.0.1”
root@ubuntu:~# vi /etc/mysql/mysql.conf.d/mysqld.cnf  



#bind-address = 127.0.0.1

进入mysql root账户
root@ubuntu:~# mysql -u root -p123456 

在mysql环境中输入grant all on . to username@’%’ identified by ‘password’;
或者grant all on . to username@’%’ identified by ‘password’ with grand option;
root@ubuntu:~# grant all on *.* to china@'%' identified by '123456';   

刷新flush privileges;然后重启mysql，通过/etc/init.d/mysql restart命令
root@ubuntu:~# flush privileges; 



root@ubuntu:~# /etc/init.d/mysql restart 

远程连接时客户端设置：

  



4、常见问题

1045 access denied for user ‘root’@’localhost(ip)’ using password yes
1、mysql -u root -p;
2、GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;
3、FLUSH PRIVILEGES;

在mysql中创建好四个item表





创建项目

安装好PyMysql后就可以在pipeline中处理存储的逻辑了。首先创建项目：scrapy startproject mysql 本例还是使用上一章多个爬虫组合实例的例子，处理将其中四个item存储到mysql数据库。 

然后打开创建好的mysql项目，在settings.py中添加数据库连接相关的常量。



# -*- coding: utf-8 -*-
BOT_NAME = 'mysql'

SPIDER_MODULES = ['mysql.spiders']
NEWSPIDER_MODULE = 'mysql.spiders'

MYSQL_HOST = 'localhost'
MYSQL_DBNAME = 'spider'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123456'

DOWNLOAD_DELAY = 1

ITEM_PIPELINES = {
    'mysql.pipelines.DoubanPipeline': 301,
}

其中ITEM_PIPELINES即是将pipeline加入到配置中生效。



ITEM_PIPELINES = {
    'mysql.pipelines.DoubanPipeline': 301,
}

pipelines.py配置



# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import pymysql
from scrapy import log

from mysql import settings
from mysql.items import MusicItem, MusicReviewItem, VideoItem, VideoReviewItem


class DoubanPipeline(object):
    def __init__(self):
        self.connect = pymysql.connect(
            host=settings.MYSQL_HOST,
            db=settings.MYSQL_DBNAME,
            user=settings.MYSQL_USER,
            passwd=settings.MYSQL_PASSWD,
            charset='utf8',
            use_unicode=True)
        self.cursor = self.connect.cursor()

    def process_item(self, item, spider):
        if item.__class__ == MusicItem:
            try:
                self.cursor.execute("""select * from music_douban where music_url = %s""", item["music_url"])
                ret = self.cursor.fetchone()
                if ret:
                    self.cursor.execute(
                        """update music_douban set music_name = %s,music_alias = %s,music_singer = %s,
                            music_time = %s,music_rating = %s,music_votes = %s,music_tags = %s,music_url = %s
                            where music_url = %s""",
                        (item['music_name'],
                         item['music_alias'],
                         item['music_singer'],
                         item['music_time'],
                         item['music_rating'],
                         item['music_votes'],
                         item['music_tags'],
                         item['music_url'],
                         item['music_url']))
                else:
                    self.cursor.execute(
                        """insert into music_douban(music_name,music_alias,music_singer,music_time,music_rating,
                          music_votes,music_tags,music_url)
                          value (%s,%s,%s,%s,%s,%s,%s,%s)""",
                        (item['music_name'],
                         item['music_alias'],
                         item['music_singer'],
                         item['music_time'],
                         item['music_rating'],
                         item['music_votes'],
                         item['music_tags'],
                         item['music_url']))
                self.connect.commit()
            except Exception as error:
                log(error)
            return item

        elif item.__class__ == MusicReviewItem:
            try:
                self.cursor.execute("""select * from music_review_douban where review_url = %s""", item["review_url"])
                ret = self.cursor.fetchone()
                if ret:
                    self.cursor.execute(
                        """update music_review_douban set review_title = %s,review_content = %s,review_author = %s,
                            review_music = %s,review_time = %s,review_url = %s
                            where review_url = %s""",
                        (item['review_title'],
                         item['review_content'],
                         item['review_author'],
                         item['review_music'],
                         item['review_time'],
                         item['review_url'],
                         item['review_url']))
                else:
                    self.cursor.execute(
                        """insert into music_review_douban(review_title,review_content,review_author,review_music,review_time,
                          review_url)
                          value (%s,%s,%s,%s,%s,%s)""",
                        (item['review_title'],
                         item['review_content'],
                         item['review_author'],
                         item['review_music'],
                         item['review_time'],
                         item['review_url']))
                self.connect.commit()
            except Exception as error:
                log(error)
            return item

        elif item.__class__ == VideoItem:
            try:
                self.cursor.execute("""select * from video_douban where video_url = %s""", item["video_url"])
                ret = self.cursor.fetchone()
                if ret:
                    self.cursor.execute(
                        """update video_douban set video_name= %s,video_alias= %s,video_actor= %s,video_year= %s,
                          video_time= %s,video_rating= %s,video_votes= %s,video_tags= %s,video_url= %s,
                          video_director= %s,video_type= %s,video_bigtype= %s,video_area= %s,video_language= %s,
                          video_length= %s,video_writer= %s,video_desc= %s,video_episodes= %s where video_url = %s""",
                        (item['video_name'],
                         item['video_alias'],
                         item['video_actor'],
                         item['video_year'],
                         item['video_time'],
                         item['video_rating'],
                         item['video_votes'],
                         item['video_tags'],
                         item['video_url'],
                         item['video_director'],
                         item['video_type'],
                         item['video_bigtype'],
                         item['video_area'],
                         item['video_language'],
                         item['video_length'],
                         item['video_writer'],
                         item['video_desc'],
                         item['video_episodes'],
                         item['video_url']))
                else:
                    self.cursor.execute(
                        """insert into video_douban(video_name,video_alias,video_actor,video_year,video_time,
                          video_rating,video_votes,video_tags,video_url,video_director,video_type,video_bigtype,
                          video_area,video_language,video_length,video_writer,video_desc,video_episodes)
                          value (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)""",
                        (item['video_name'],
                         item['video_alias'],
                         item['video_actor'],
                         item['video_year'],
                         item['video_time'],
                         item['video_rating'],
                         item['video_votes'],
                         item['video_tags'],
                         item['video_url'],
                         item['video_director'],
                         item['video_type'],
                         item['video_bigtype'],
                         item['video_area'],
                         item['video_language'],
                         item['video_length'],
                         item['video_writer'],
                         item['video_desc'],
                         item['video_episodes']))
                self.connect.commit()
            except Exception as error:
                log(error)
            return item

        elif item.__class__ == VideoReviewItem:
            try:
                self.cursor.execute("""select * from video_review_douban where review_url = %s""", item["review_url"])
                ret = self.cursor.fetchone()
                if ret:
                    self.cursor.execute(
                        """update video_review_douban set review_title = %s,review_content = %s,review_author = %s,
                            review_video = %s,review_time = %s,review_url = %s
                            where review_url = %s""",
                        (item['review_title'],
                         item['review_content'],
                         item['review_author'],
                         item['review_video'],
                         item['review_time'],
                         item['review_url'],
                         item['review_url']))
                else:
                    self.cursor.execute(
                        """insert into video_review_douban(review_title,review_content,review_author,review_video,review_time,
                          review_url)
                          value (%s,%s,%s,%s,%s,%s)""",
                        (item['review_title'],
                         item['review_content'],
                         item['review_author'],
                         item['review_video'],
                         item['review_time'],
                         item['review_url']))
                self.connect.commit()
            except Exception as error:
                log(error)
            return item
        else:
            pass


在上面的pipeline中我已经做了数据库去重的操作。



运行爬虫

pycharm运行run.py，mysql数据库表中已经存好了我们要的数据。



github地址

专题概要
爬虫简介
scrapy架构及原理
imdb.cn爬虫实例
有限爬取深度实例
多个爬虫组合实例
爬虫数据存储实例
中间件的使用实例
scrapy的调试技巧
爬虫总结以及扩展