精华内容
下载资源
问答
  • 此处对Scrapy爬虫框架和Requests库进行比较: 首先来看Scrapy爬虫框架和Requests库的相同点: 再来看看不同点: requests Scrapy 页面级爬虫 网站级爬虫 功能库 框架 并发性考虑不足,性能较差 并发性...

    参考资料:Python网络爬虫与信息提取(北京理工大学慕课)


    此处对Scrapy爬虫框架和Requests库进行比较:

    首先来看Scrapy爬虫框架和Requests库的相同点

    再来看看不同点

    requests Scrapy
    页面级爬虫 网站级爬虫
    功能库 框架
    并发性考虑不足,性能较差 并发性好,性能较高
    重点在于页面下载 重点在于爬虫结构
    定制灵活 一般定制灵活,深度定制困难
    上手十分简单 入门稍难
    非配置型代码编写 配置型代码编写
    Requests 是一个功能库,由一堆函数构成;
    而 Scrapy 是一个框架,它其中的很多函数并不是由用户来定义和使用的,
    它更多的是为了支撑一个爬虫的整体结构。
    

    Scrapy库基于异步结构设计,它可以同时向多个网站发起爬取请求,所以并发性好,性能较高。

    当然,网络爬虫爬取的快与慢,只是一个参数,因为对于一些很成熟的网站,它都有反爬技术。

    反爬技术反而要求爬虫爬取的速度不能太快,如果爬取很快,就会被反爬技术发现,并且屏蔽某一些IP的爬取请求。

    所以爬取速度好还是坏,要结合特定的情况来考虑。


    选用哪个技术路线开发爬虫?

    • 非常小的需求,选用requests库。
    • 不太小的需求,Scrapy框架。
    • 定制程度很高的需求(不考虑规模),自搭框架,requests > Scrapy。

    这里不太小的意思是,比如说你想实现一个爬虫,它能够持续地、或者是不间断地、或者是周期性地爬取一个网站的信息,并且对这个数据的信息,你希望去积累,形成你自己的爬取库,这种情况,建议使用Scrapy框架。

    第三点的原因:Scrapy的“5+2”结构在进行自搭框架的时候,反而会成为一个限制,不如用Requests库直接来编写框架更灵活。

    展开全文
  • Scrapy爬虫框架,入门案例(非常详细)

    万次阅读 多人点赞 2020-03-21 15:44:49
    Scrapy,Python开发的一个快速、高...其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...

     

    目录

    一、概述

    二、Scrapy五大基本构成:

    三、整体架构图

    四、Scrapy安装以及生成项目

    五、日志等级与日志保存

    六、导出为json或scv格式

    七、一个完整的案例


    一、概述

    Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试.

    其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.

    Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持.

    二、Scrapy五大基本构成:

    Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。

    (1)、调度器(Scheduler):

    调度器,说白了把它假设成为一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是 什么,同时去除重复的网址(不做无用功)。用户可以自己的需求定制调度器。

    (2)、下载器(Downloader):

    下载器,是所有组件中负担最大的,它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂,但效率高,主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。

    (3)、 爬虫(Spider):

    爬虫,是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法),用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。

    (4)、 实体管道(Item Pipeline):

    实体管道,用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。

    (5)、Scrapy引擎(Scrapy Engine):

    Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上,引擎相当于计算机的CPU,它控制着整个流程。

     

    三、整体架构图

    本图按顺序说明整个程序执行时候发生的顺序。

    注意在调用下载器时,往往有一个下载器中间件,使下载速度提速。

    官网架构图 

     

    四、Scrapy安装以及生成项目

     

    新建一个项目,该项目的结构如下:

     

    执行命令,widows和ubuntu命令格式是一样的:

    下载方式

    ubuntu,打开一个终端,输入pip install scrapy(或pip3  install scrapy)

    widows ,打开一个cmd,输入pip install scrapy,前提是你装了pip

    详细安装请点这

     

    scrapy startproject 项目名

    scrapy genspider 爬虫名 域名

    scrapy crawl 爬虫名

    我使用的是widows版本,下面演示创建项目的例子

    打开cmd,输入(默认是在C:\Users\Administrator>这个目录下,你可以自行切换)

    scrapy startproject myfirstPj

    cd my firstPj

    scrapy genspider baidu www.baidu.com

    创建后目录大致页如下

    |-ProjectName              #项目文件夹

       |-ProjectName           #项目目录

          |-items.py               #定义数据结构

          |-middlewares.py    #中间件

          |-pipelines.py          #数据处理

          |-settings.py            #全局配置

          |-spiders               

              |-__init__.py       #爬虫文件

              |-baidu.py

       |-scrapy.cfg               #项目基本配置文件

     

    spiders下的baidu.py是scrapy自动为我们生成的

     

    下面再看一下spdier项目的配置文件,打开文件settings.py 

    BOT_NAME:项目名

    USER_AGENT:默认是注释的,这个东西非常重要,如果不写很容易被判断为电脑,简单点洗一个Mozilla/5.0即可

    ROBOTSTXT_OBEY:是否遵循机器人协议,默认是true,需要改为false,否则很多东西爬不了

     

     CONCURRENT_REQUESTS:最大并发数,很好理解,就是同时允许开启多少个爬虫线程

    DOWNLOAD_DELAY:下载延迟时间,单位是秒,控制爬虫爬取的频率,根据你的项目调整,不要太快也不要太慢,默认是3秒,即爬一个停3秒,设置为1秒性价比较高,如果要爬取的文件较多,写零点几秒也行

    COOKIES_ENABLED:是否保存COOKIES,默认关闭,开机可以记录爬取过程中的COKIE,非常好用的一个参数

    DEFAULT_REQUEST_HEADERS:默认请求头,上面写了一个USER_AGENT,其实这个东西就是放在请求头里面的,这个东西可以根据你爬取的内容做相应设置。

     

    ITEM_PIPELINES:项目管道,300为优先级,越低越爬取的优先度越高

     比如我的pipelines.py里面写了两个管道,一个爬取网页的管道,一个存数据库的管道,我调整了他们的优先级,如果有爬虫数据,优先执行存库操作。

    ITEM_PIPELINES = {
        'scrapyP1.pipelines.BaiduPipeline': 300,
        'scrapyP1.pipelines.BaiduMysqlPipeline': 200,
    }

     

     到这里我们尝试用scrapy做一下爬取,打开spider.py下的baidu.py(取决于你scrapy genspider 爬虫名 域名时输入的爬虫名)

    输入一下代码,我们使用xpath提取百度首页的标题title

    import scrapy
    
    
    class BaiduSpider(scrapy.Spider):
        name = 'baidu'
        allowed_domains = ['www.baidu.com']
        start_urls = ['http://www.baidu.com/']
    
        def parse(self, response):
            tile=response.xpath('//html/head/title/text()')
            print(tile)

     

    打开一个终端cmd,输入scrapy crawl baidu(爬虫名),就可以看到一大堆输出信息,而其中就包括我们要的内容

     

    使用终端运行太麻烦了,而且不能提取数据,我们一个写一个run文件作为程序的入口,splite是必须写的,目的是把字符串转为列表形式,第一个参数是scrapy,第二个crawl,第三个baidu

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu'.split())

    可以在编辑器中输出了 

     

    五、日志等级与日志保存

    在setting.py里面可以设置日志的等级与日志存放的路径

    相关变量

    LOG_LEVEL= ""

    LOG_FILE="日志名.log"

    日志等级分为

    1.DEBUG 调试信息

    2.INFO 一般信息

    3.WARNING 警告

    4.ERROR 普通错误

    5.CRITICAL 严重错误

    如果设置

    LOG_LEVEL="WARNING",就只会WARNING等级之下的ERROR和CRITICAL

    默认等级是1

     

    六、导出为json或scv格式

    执行爬虫文件时添加-o选项即可

    scrapy crawl 项目名 -o *.csv

    scrapy crawl 项目名 -o *.json

    对于json文件,在setting.js文件里添加,设置编码格式,否则会乱码:

    FEED_EXPORT_ENCODING='utf-8'

    示例:

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())

     

    七、一个完整的案例

    这个项目我们的主题是爬腾讯视频的电影信息,包括电影名和描述

     

    1.创建项目

    打开一个终端输入(建议放到合适的路径下,默认是C盘)

    scrapy startproject TXmovies

    cd TXmovies

    scrapy genspider txms v.qq.com

    2.修改setting

    修改三项内容,第一个是不遵循机器人协议,第二个是下载间隙,由于下面的程序要下载多个页面,所以需要给一个间隙(不给也可以,只是很容易被侦测到),第三个是请求头,添加一个User-Agent,第四个是打开一个管道

    ROBOTSTXT_OBEY = False
    
    DOWNLOAD_DELAY = 1
    
    DEFAULT_REQUEST_HEADERS = {
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language': 'en',
      'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    }
    
    ITEM_PIPELINES = {
       'TXmovies.pipelines.TxmoviesPipeline': 300,
    }

     

    3.确认要提取的数据,item项

    item定义你要提取的内容(定义数据结构),比如我提取的内容为电影名和电影描述,我就创建两个变量。Field方法实际上的做法是创建一个字典,给字典添加一个建,暂时不赋值,等待提取数据后再赋值。下面item的结构可以表示为:{'name':'','descripition':''}。

    # -*- coding: utf-8 -*-
    
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    
    class TxmoviesItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        name = scrapy.Field()
        description = scrapy.Field()
    

    4.写爬虫程序

    我们要写的部分是parse方法里的内容,重点在于如何写xpath,关于xpath我不多讲,有兴趣可以看看我另一篇文章,XPATH教程

    引入刚刚写好的item,刚刚说了item里面创建的变量就是字典的键值,可以直接进行赋值。赋值后交给管道处理。

    简单讲一下这一段代码的思路,首先腾讯视频的url为https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30

    我们注意到offset这一项,第一页的offset为0,第二页为30,依次推列。在程序中这一项用于控制抓取第一页,但是也要给一个范围,不可能无限大,否则会报错,可以去看看腾讯一共有多少页视频,也可以写一个异常捕获机制,捕捉到请求出错则退出。我这里仅仅是示范,所以只给了120,也就是4页。

     

    yield

    程序里一共有两个yield,我比较喜欢叫它中断,当然中断只在CPU中发生,它的作用是移交控制权,在本程序中,我们对item封装数据后,就调用yield把控制权给管道,管道拿到处理后return返回,又回到该程序。这是对第一个yield的解释。

    第二个yield稍微复杂点,这条程序里利用了一个回调机制,即callback,回调的对象是parse,也就是当前方法,通过不断的回调,程序将陷入循环,如果不给程序加条件,就会陷入死循环,如本程序我把if去掉,那就是死循环了。

    yield scrapy.Request(url=url,callback=self.parse)

     

    xpath

    还有一个要注意的是如何提取xpathl里的数据,我们的写法有四种,第一种写法拿到selector选择器,也就是原数据,里面有一些我们用不到的东西。第二个extract(),将选择器序列号为字符串。第三个和第四个一样,拿到字符串里的第一个数据,也就是我们要的数据。

    items['name']=i.xpath('./a/@title')[0]

    items['name']=i.xpath('./a/@title').extract()

    items['name']=i.xpath('./a/@title').extract_first()

    items['name']=i.xpath('./a/@title').get()

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        start_urls = ['https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30']
        offset=0
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items
    
            if self.offset < 120:
                self.offset += 30
                url = 'https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'.format(
                    str(self.offset))
    
                yield scrapy.Request(url=url,callback=self.parse)
    

    5.交给管道输出

    管道可以处理提取的数据,如存数据库。我们这里仅输出。

    # -*- coding: utf-8 -*-
    
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    class TxmoviesPipeline(object):
        def process_item(self, item, spider):
            print(item)
            return item
    

    6.run,执行项目

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl txms'.split())

    7.测试结果

    白色的管道输出的结果,红色的调试信息

     

    8.流程梳理

    新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容,写item-》写爬虫程序,爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序,可以通过终端或者在程序里写一个run程序

     

    9.提速:多线程爬取

    如果你实现了上面的实验,不难发现其爬取速度是非常慢,根本的原因就是因为它是顺序执行的,你可以从结果中看出,总是前面一页的内容被输出,再输出后面的内容。不适合处理数据量较大的情况,一个好的方式是采用多线程的方法,这里的多线程是基于方法的多线程,并不是通过创建Thread对象来实现,是在一个方法中,一次性把请求交给调度器。

    我们通过重写start_requests方法来实现我们的想法(这个方法的源码在__init__.py下面,有兴趣可以看一下)

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'
        offset=0
    
        def start_requests(self):
            for i in range(0,121,30):
                url=self.url.format(i)
                yield scrapy.Request(
                    url=url,
                    callback=self.parse
                )
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items
    

     

    展开全文
  • Scrapy 爬虫学习

    2017-04-18 13:14:57
    Scrapy 爬虫转载一篇 Scrapy 爬虫的博客,内容比较详细。 http://kongtianyi.cn/2016/09/26/python/Scrapy-Lesson-1/

    Scrapy 爬虫

    转载一篇 Scrapy 爬虫的博客,内容比较详细。
    http://kongtianyi.cn/2016/09/26/python/Scrapy-Lesson-1/

    展开全文
  • Scrapy爬虫框架 scrapy是什么 它是一个快速功能强大的开源网络爬虫框架 Github地址:https://github.com/scrapy/scrapy 官网地址:https://scrapy.org/ scrapy的安装 cmd上运行 pip install scrapy 测试: ...

    Scrapy爬虫框架

    scrapy是什么

    它是一个快速功能强大的开源网络爬虫框架
    Github地址:https://github.com/scrapy/scrapy
    官网地址:https://scrapy.org/

    在这里插入图片描发

    scrapy的安装

    cmd上运行

    pip install scrapy
    测试: scrapy -h

    一般直接pip install scrapy会出错,可参考:【转】
    https://blog.csdn.net/qq_42543250/article/details/81347368
    安装成功后测试会(scrapy -h):
    在这里插入图片描述

    Scrapy爬虫框架结构

    “5+2”结构
    在这里插入图片描述

    框架组件:

    组件 作用
    Scrapy Engine 引擎,处理整个框架的数据流
    Scheduler 调度器,接收引擎发过来的请求,将其排至队列中,当引擎再次请求时返回
    Downloader 下载器,下载所有引擎发送的请求,并将获取的源代码返回给引擎,之后由引擎交给爬虫处理
    Spiders 爬虫,接收并处理所有引擎发送过来的源代码,从中分析并提取item字段所需要的数据,并将需要跟进的url提交给引擎,再次进入调度器
    Item Pipeline 管道,负责处理从爬虫中获取的Item,并进行后期处理
    Downloader Middlewares 下载中间件,可以理解为自定义扩展下载功能的组件
    Spider Middlewares Spider中间件,自定义扩展和操作引擎与爬虫之间通信的功能组件

    Scrapy爬虫的数据类型

    • Request类
    • Response类
    • Item类

    Scrapy数据处理流程:

    1. 当需要打开一个域名时,爬虫开始获取第一个url,并返回给引擎
    2. 引擎把url作为一个请求交给调度器
    3. 引擎再次对调度器发出请求,并接收上一次让调度器处理的请求
    4. 引擎将请求交给下载器
    5. 下载器下载完成后,作为响应返回给引擎
    6. 引擎把响应交给爬虫,爬虫开始进一步处理,处理完成后有两个数据,一个是需要跟进的url,另一个是获取到的item数据,然后把结果返回给引擎
    7. 引擎把需要跟进的url给调度器,把获取的item数据给管道
    8. 然后从第2步开始循环,知道获取信息完毕。只有调度器中没有任何请求时,程序才会停止

    Scrapy爬虫的基本使用

    yield关键字的使用

    • 包含yield语句的函数是一个生成器
    • 生成器每次产生一个值(yield语句),函数被冻结,被唤醒后再产生一个值
    • 生成器是一个不断产生值的函数

    Scrapy爬虫的常用命令

    命令 说明 格式
    startproject 创建一个新工程 scrapy startproject projectName
    genspider 创建一个爬虫 scrapy genspider [options]name domain
    settings 获得爬虫配置信息 scrapy settings [options]
    crawl 运行一个爬虫 scrapy crawl spider
    list 列出工程中所有爬虫 scrapy list
    shell 启动URL调试命令行 scrapy shell [url]

    Scrapy爬虫的使用步骤

    1. 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目

    创建工程:scrapy startproject mydemo
    在这里插入图片描述

    目录树:
    在这里插入图片描述

    工程目录下各个文件的作用

    文件 作用
    scrapy.cfg 配置文件
    spiders 存放你Spider文件,也就是你爬取的py文件
    items.py 相当于一个容器,和字典较像
    middlewares.py 定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现
    pipelines.py 定义Item Pipeline的实现,实现数据的清洗,储存,验证。
    settings.py 全局配置
    1. 明确目标 (编写items.py):明确你想要抓取的目标
      items.py文件内容
      在这里插入图片描述
    2. 制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页

    Spider爬虫模板:
    在这里插入图片描述
    4. 存储内容 (pipelines.py):设计管道存储爬取内容

    实例:豆瓣Top250信息-Scrapy爬虫

    创建工程:

    scrapy startproject douban
    在douban目录下:
    scrapy genspider douban_scrapy douban.com

    明确目标

    我们打算抓取https://movie.douban.com/top250
    网站里的所有电影的序号、名称、介绍、评分、评论数、描述

    打开 douban 目录下的 items.py。
    
    Item 定义结构化数据字段,用来保存爬取到的数据,有点像 Python 中的 dict,但是提供了一些额外的保护减少错误。
    
    可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个 Item(可以理解成类似于 ORM 的映射关系)。
    
    接下来,创建一个 ItcastItem 类,和构建 item 模型(model)。
    

    items.py

    import scrapy  
    class DoubanItem(scrapy.Item):  
        # define the fields for your item here like:
        # name = scrapy.Field()
        # 电影序号
        serial_number = scrapy.Field()
        # 电影名称
        movie_name = scrapy.Field()
        # 电影介绍
        introduce = scrapy.Field()
        # 电影星级
        star = scrapy.Field()
        # 电影评论数
        evaluate = scrapy.Field()
        # 电影描述
        describe = scrapy.Field()
    
    

    制作爬虫 (spiders/douban_scrapy.py)

    在当前目录下输入命令,将在mySpider/spider目录下创建一个名为itcast的爬虫,并指定爬取域的范围:

    scrapy genspider douban_scrapy movie.douban.com

    打开 douban/spider目录里的 douban_scrapy.py,默认增加了下列代码:

    #douban_scrapy.py
    #-*- coding: utf-8 -*-  
    import scrapy  
    from douban.items import DoubanItem  
    
    class DoubanScrapySpider(scrapy.Spider):  
        name = 'douban_scrapy'  
        allowed_domains = ['movie.douban.com']  
        start_urls = ['https://movie.douban.com/top250']  
    
        def parse(self, response):  # 解析的方法
            #  movie_list 的类型为<class 'scrapy.selector.unified.SelectorList'>
            movie_list = response.xpath("//ol[@class ='grid_view']/li")
            # 数据的查找
            # self.log('movie_list 的类型为{}
            for i_item in movie_list:
                # item文件的导入
                douban_item = DoubanItem()
                # 数据的筛选
                #extract():这个方法返回的是一个数组list,,里面包含了多个string,如果只有一个string,则返回['ABC']这样的形式。
                #extract_first():这个方法返回的是一个string字符串,是list数组里面的第一个字符串。
                douban_item['serial_number'] = i_item.xpath(".//div[@class='pic']/em/text()").extract_first()
                douban_item['movie_name'] = i_item.xpath(".//div[@class='hd']/a/span[1]/text()").extract_first()
                douban_item['introduce'] = i_item.xpath(".")
                content = i_item.xpath(".//div[@class='bd']/p[1]/text()").extract()
                for i_content  in content:
                    contents = "".join(i_content.split())
                    douban_item['introduce'] = contents
                douban_item['star'] = i_item.xpath(".//div[@class='star']/span[2]/text()").extract_first()
                douban_item['evaluate'] = i_item.xpath(".//div[@class='star']/span[4]/text()").extract_first()
                douban_item['describe'] = i_item.xpath(".//p[@class= 'quote']/span/text()").extract_first()
                #将数据返回到pipeline,用生成器
                yield douban_item
            next_link = response.xpath("//span[@class ='next']/link/@href").extract()
            # 解析下一页,规则,取后一页的xpath
            if next_link:
                next_link = next_link[0]
                #Spider产生下一页的Request请求
                yield scrapy.Request('https://movie.douban.com/top250'+next_link,callback=self.parse)
    

    保存数据 (pipeline.py)

    一.scrapy保存信息的最简单的方法主要有四种,-o 输出指定格式的文件,命令如下:

    scrapy crawl douban_scrapy -o douban.json

    json lines格式,默认为Unicode编码

    scrapy crawl douban_scrapy -o douban.jsonl

    csv 逗号表达式,可用Excel打开

    scrapy crawl douban_scrapy -o douban.csv

    xml格式

    scrapy crawl douban_scrapy -o douban.xml

    二、通过pipeline存储进mysql

    pipeline.py
    import pymysql  
    from twisted.enterprise import adbapi  
    from scrapy  import log   
    
    
    class DoubanPipeline(object):  
        #使用teisted异步存储
        def __init__(self, dbpool):
            self.dbpool = dbpool
    
        @classmethod
        def from_settings(cls, settings):
            dbparms = {
                'host': "localhost",
                'user': "root",
                'port': 3306,
                'passwd': "root",
                'db': "mystudy",
                'charset': 'utf8',
                'cursorclass': pymysql.cursors.DictCursor,
                'use_unicode': True
            }
    
            dbpool = adbapi.ConnectionPool('pymysql', **dbparms)
            return cls(dbpool)
    
        def process_item(self, item, spider):
            # 使用Twisted 将MYSQL 插入变成异步执行
            # runInteraction 第一个参数是一个函数
            query = self.dbpool.runInteraction(self.do_insert, item)
            query.addCallback(self.handle_error, item, spider)  # 处理异常
            return item
    
        def handle_error(self, failure, item, spider):
            # 处理异步插入的异常
            print(failure)
    
        def do_insert(self, cursor, item):
            # 执行具体的插入
            insert_sql = '''
                insert into douban (serial_number,movie_name,introduce,star, evaluate,Mdescribe) values (%s, %s, %s, %s, %s, %s);
                '''
            cursor.execute(insert_sql,
                           (item['serial_number'], item['movie_name'], item['introduce'], item['star'], item['evaluate'],item['describe']))
    
    

    一些配置

    #settings.py  
    USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'  
    ROBOTSTXT_OBEY = False  
    ITEM_PIPELINES = {   
       'douban.pipelines.DoubanPipeline':10  
    }
    
    展开全文
  • Scrapy爬虫入门教程四 Spider(爬虫)

    千次阅读 2018-07-17 17:14:07
    Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • scrapy爬虫框架入门实例

    万次阅读 多人点赞 2016-10-10 21:22:14
    scrapy爬虫框架入门实例关于如何安装scrapy框架,可以参考这篇文章 scrapy安装方法 初识scrapy框架,写个简单的例子帮助理解。强调一下,这里使用的是Python3.6例子的目标就是抓取慕课网的课程信息流程分析抓取...
  • Scrapy爬虫(三):scrapy架构及原理

    万次阅读 多人点赞 2016-12-26 19:01:17
    Scrapy爬虫(三):Scrapy原理Scrapy爬虫三Scrapy原理 scrapy爬虫尝鲜 scrapy data flow流程图 scrapy项目结构scrapy爬虫尝鲜scrapy现在已经完美支持python3+,所以后面的实例我都会使用python3+的环境。首先我们来尝...
  • Python爬虫-Scrapy爬虫

    2018-02-08 09:50:55
    (1)建立Scrapy爬虫工程 选取目录(D:\pySpider\),执行命令 生成工程目录 (2)在工程中产生一个Scrapy爬虫 进入工程目录(D:\pySpider\python123demo),执行命令 生成的demo.py文件# -*- coding: utf-8 -*...
  • Scrapy爬虫实战

    千次阅读 2017-06-07 22:53:33
    最近,想好好学习下Scrapy爬虫框架,一种很强大的 python 爬虫框架,在观看了极客学院的课程后,自己实现了用 Scrapy爬虫豆瓣电影 top250,并存于 mysql 数据库中。接下来就开始介绍实现过程。   首先来看看网页...
  • Scrapy爬虫框架学习笔 一本文主要是Scrapy爬虫框架学习的笔记。因为有一部分自己的理解,带有强烈的自主看法可能会与客观的事实有所偏差。如有不对的请与我联系。 QQ邮箱:735566414@qq.com 对于Scrapy爬虫框架的...
  • Scrapy-Pytest Scrapy-Pytest,是基于pytest的方便为Scrapy框架写的爬虫设计的单元测试工具。其主要基于Scrapy的...于网络进行对Scrapy爬虫的测试,目前可以支持自动生产Scrapy爬虫的各个解析函数(内置pars...
  • Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • Scrapy简介Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取...它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。Scrapy
  • 本篇是介绍在 Anaconda 环境下,创建 Scrapy 爬虫框架项目的步骤,且介绍比较详细 Python爬虫教程-31-创建 Scrapy 爬虫框架项目 首先说一下,本篇是在 Anaconda 环境下,所以如果没有安装 Anaconda 请先到官网...
  • Python爬虫之Scrapy爬虫框架

    千次阅读 2017-12-19 12:41:32
    这里通过创建CSDN博客爬虫来学习Scrapy爬虫框架。 安装Scrapy: 在Linux上,直接pip install scrapy即可; 在Windows上,需要依次安装pywin32、pyOpenSSL、lxml和scrapy。 本次在Kali上安装,安装成功后能成功看到...
  • Scrapy爬虫错误

    千次阅读 2019-01-17 17:11:09
    Scrapy爬虫一个页面也爬取不到 报错:[scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 解决方法俩种: 方法1,在settings.py中添加用户代理: USER_...
  • Scrapy爬虫(九):scrapy的调试技巧

    千次阅读 2016-12-28 11:50:38
    Scrapy爬虫(九):scrapy调试技巧Scrapy爬虫九scrapy调试技巧 scrapy的调试 浏览器调试 scrapy命令调试 本章将介绍scrapy的一些调试技巧。 scrapy的调试在开发爬虫时调试工作是必要的且重要的,无论是开发前的准备...
  • Scrapy爬虫入门教程六 Items(项目)

    千次阅读 2018-07-17 17:14:28
    Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • 在windows搭建scrapyd跑scrapy爬虫,看似简单的步骤,背后隐藏着不为人知的秘密
  • 1.创建一个scrapy工程 cd scrapy startproject baidu ...2.在scrapy爬虫获取到数据以后对数据的保存 scrapy crawl 爬虫的name -o 文件名.文件格式(比如xml json csv) scrapy crawl 爬虫的name -o 文件名.js...
  • Scrapy爬虫(一)——你的第一个Scrapy爬虫 Scrapy爬虫(二)——自定义Item和代理访问的爬虫 如果理解清楚以上这两篇博客,运用scrapy框架爬取一般的网页基本不是什么难题了。可是有些时候我们会遇到动态网页,向下...
  • 最近在做Python Scrapy框架搭建数据中心的项目,边做边学,手敲代码,现在spider已经可以采集数据了,但是还没有写定时执行的脚本。根据以前的工作经验,简单的任务可以使用Crontab来实现脚本的定时执行。不过因为...
  • Scrapy爬虫(十):爬虫总结以及扩展

    千次阅读 2016-12-28 13:18:28
    Scrapy爬虫(十):爬虫总结以及扩展Scrapy爬虫十爬虫总结以及扩展 爬虫总结 爬虫的一些扩展 最后 爬虫总结本专题介绍了scrapy的框架原理,并用了5个实例由浅入深的进行了演示。还讲到了scrapy的调试技巧,对于入门...
  • Scrapy爬虫(二):爬虫简介

    千次阅读 2016-12-26 17:36:17
    Scrapy爬虫(二):爬虫简介Scrapy爬虫二爬虫简介 什么是爬虫 爬虫的价值 最简单的python爬虫 爬虫基本架构 scrapy环境配置什么是爬虫?爬虫的本质就是将互联网网页(数据)下载下来的程序。 爬虫通常为PC端爬虫、以及...
  • Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • Scrapy爬虫入门教程一 安装和基本使用  Scrapy爬虫入门教程二 官方提供Demo  Scrapy爬虫入门教程三 命令行工具介绍和示例  Scrapy爬虫入门教程四 Spider(爬虫)  Scrapy爬虫入门教程五 Selectors(选择器)...
  • Python爬虫教程-30-Scrapy 爬虫框架介绍

    万次阅读 2018-09-03 23:41:54
    从本篇开始学习 Scrapy 爬虫框架 Python爬虫教程-30-Scrapy 爬虫框架 框架:框架就是对于相同的相似的部分,代码做到不出错,而我们就可以将注意力放到我们自己的部分了 常见爬虫框架: scrapy pyspider ...
  • python爬虫,scrapy爬虫框架的基本使用。包括scrapy框架的介绍和其数据流机制;scrapy的安装和创建项目;最后通过两个实例:爬取Quotes和爬取图片,熟悉scrapy爬虫框架的基本使用。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 54,317
精华内容 21,726
关键字:

scrapy爬虫

爬虫 订阅