精华内容
下载资源
问答
  • 为了缩短构建时间,verless使您可以选择并显式启用所需的功能-如果需要,仅生成标签的RSS feed或概述页面。 注重简单性:全局信息,页面类型,插件和其他设置在项目内部的中央配置文件中进行配置。 我们试图使事情...
  • 为了方便阅读,本人在上传前添加了完整的书签。 全书压缩打包成3部分,这是第2部分。 注:本系列图书的第I、II卷再版时均相应改名为《xxx开发实例大全》(基础卷)及(提高卷),但内容基本无变化,需要的童鞋可自由...
  • Scrapy 学习

    万次阅读 2020-12-29 18:00:29
    Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )...

    一、概述

    Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试.

    其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.

    Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持.

    二、Scrapy五大基本构成:

    Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。

    (1)、调度器(Scheduler):

    调度器,说白了把它假设成为一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是 什么,同时去除重复的网址(不做无用功)。用户可以自己的需求定制调度器。

    (2)、下载器(Downloader):

    下载器,是所有组件中负担最大的,它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂,但效率高,主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。

    (3)、 爬虫(Spider):

    爬虫,是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法),用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。

    (4)、 实体管道(Item Pipeline):

    实体管道,用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。

    (5)、Scrapy引擎(Scrapy Engine):

    Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上,引擎相当于计算机的CPU,它控制着整个流程。

    三、整体架构图

    本图按顺序说明整个程序执行时候发生的顺序。

    注意在调用下载器时,往往有一个下载器中间件,使下载速度提速。

    img

    官网架构图

    img

    四、Scrapy安装以及生成项目

    新建一个项目,该项目的结构如下:

    执行命令,widows和ubuntu命令格式是一样的:

    下载方式

    ubuntu,打开一个终端,输入pip install scrapy(或pip3 install scrapy)

    widows ,打开一个cmd,输入pip install scrapy,前提是你装了pip

    详细安装请点这

    img

    scrapy startproject 项目名

    scrapy genspider 爬虫名 域名

    scrapy crawl 爬虫名

    我使用的是widows版本,下面演示创建项目的例子

    打开cmd,输入(默认是在C:\Users\Administrator>这个目录下,你可以自行切换)

    scrapy startproject myfirstPj

    cd my firstPj

    scrapy genspider baidu www.baidu.com

    创建后目录大致页如下

    |-ProjectName #项目文件夹

    |-ProjectName #项目目录

    |-items.py #定义数据结构

    |-middlewares.py #中间件

    |-pipelines.py #数据处理

    |-settings.py #全局配置

    |-spiders

    ​ |-init.py #爬虫文件

    ​ |-baidu.py

    |-scrapy.cfg #项目基本配置文件

    spiders下的baidu.py是scrapy自动为我们生成的

    img

    下面再看一下spdier项目的配置文件,打开文件settings.py

    BOT_NAME:项目名

    USER_AGENT:默认是注释的,这个东西非常重要,如果不写很容易被判断为电脑,简单点洗一个Mozilla/5.0即可

    ROBOTSTXT_OBEY:是否遵循机器人协议,默认是true,需要改为false,否则很多东西爬不了

    img

    CONCURRENT_REQUESTS:最大并发数,很好理解,就是同时允许开启多少个爬虫线程

    DOWNLOAD_DELAY:下载延迟时间,单位是秒,控制爬虫爬取的频率,根据你的项目调整,不要太快也不要太慢,默认是3秒,即爬一个停3秒,设置为1秒性价比较高,如果要爬取的文件较多,写零点几秒也行

    COOKIES_ENABLED:是否保存COOKIES,默认关闭,开机可以记录爬取过程中的COKIE,非常好用的一个参数

    DEFAULT_REQUEST_HEADERS:默认请求头,上面写了一个USER_AGENT,其实这个东西就是放在请求头里面的,这个东西可以根据你爬取的内容做相应设置。

    img

    ITEM_PIPELINES:项目管道,300为优先级,越低越爬取的优先度越高

    img

    比如我的pipelines.py里面写了两个管道,一个爬取网页的管道,一个存数据库的管道,我调整了他们的优先级,如果有爬虫数据,优先执行存库操作。

    ITEM_PIPELINES = {
    
    
    
        'scrapyP1.pipelines.BaiduPipeline': 300,
    
    
    
        'scrapyP1.pipelines.BaiduMysqlPipeline': 200,
    
    
    
    }
    

    img

    到这里我们尝试用scrapy做一下爬取,打开spider.py下的baidu.py(取决于你scrapy genspider 爬虫名 域名时输入的爬虫名)

    输入一下代码,我们使用xpath提取百度首页的标题title

    import scrapy
     
     
    class BaiduSpider(scrapy.Spider):
        name = 'baidu'
        allowed_domains = ['www.baidu.com']
        start_urls = ['http://www.baidu.com/']
     
        def parse(self, response):
            tile=response.xpath('//html/head/title/text()')
            print(tile)
    

    打开一个终端cmd,输入scrapy crawl baidu(爬虫名),就可以看到一大堆输出信息,而其中就包括我们要的内容

    img

    使用终端运行太麻烦了,而且不能提取数据,我们一个写一个run文件作为程序的入口,splite是必须写的,目的是把字符串转为列表形式,第一个参数是scrapy,第二个crawl,第三个baidu

    from scrapy import cmdline
    
    
    
     
    
    
    
    cmdline.execute('scrapy crawl baidu'.split())
    

    可以在编辑器中输出了

    img

    使用终端运行太麻烦了,而且不能提取数据,我们一个写一个run文件作为程序的入口,splite是必须写的,目的是把字符串转为列表形式,第一个参数是scrapy,第二个crawl,第三个baidu

    from scrapy import cmdline
    
    
    
     
    
    
    
    cmdline.execute('scrapy crawl baidu'.split())
    

    可以在编辑器中输出了

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LHFlAlC1-1609235975912)(picture/20200321130523487.png)]

    五、日志等级与日志保存

    在setting.py里面可以设置日志的等级与日志存放的路径

    相关变量

    LOG_LEVEL= ""

    LOG_FILE="日志名.log"

    日志等级分为

    1.DEBUG 调试信息

    2.INFO 一般信息

    3.WARNING 警告

    4.ERROR 普通错误

    5.CRITICAL 严重错误

    如果设置

    LOG_LEVEL=“WARNING”,就只会WARNING等级之下的ERROR和CRITICAL

    默认等级是1

    六、导出为json或scv格式

    执行爬虫文件时添加-o选项即可

    scrapy crawl 项目名 -o *.csv

    scrapy crawl 项目名 -o *.json

    对于json文件,在setting.js文件里添加,设置编码格式,否则会乱码:

    FEED_EXPORT_ENCODING=‘utf-8’

    示例:

    from scrapy import cmdline
     
    cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())
    

    七、一个完整的案例

    这个项目我们的主题是爬腾讯视频的电影信息,包括电影名和描述

    img

    1.创建项目

    打开一个终端输入(建议放到合适的路径下,默认是C盘)

    scrapy startproject TXmovies

    cd TXmovies

    scrapy genspider txms v.qq.com

    2.修改setting

    修改三项内容,第一个是不遵循机器人协议,第二个是下载间隙,由于下面的程序要下载多个页面,所以需要给一个间隙(不给也可以,只是很容易被侦测到),第三个是请求头,添加一个User-Agent,第四个是打开一个管道

    ROBOTSTXT_OBEY = False
     
    DOWNLOAD_DELAY = 1
     
    DEFAULT_REQUEST_HEADERS = {
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language': 'en',
      'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    }
     
    ITEM_PIPELINES = {
       'TXmovies.pipelines.TxmoviesPipeline': 300,
    }
    

    3.确认要提取的数据,item项

    item定义你要提取的内容(定义数据结构),比如我提取的内容为电影名和电影描述,我就创建两个变量。Field方法实际上的做法是创建一个字典,给字典添加一个建,暂时不赋值,等待提取数据后再赋值。下面item的结构可以表示为:{‘name’:’’,‘descripition’:’’}。

    # -*- coding: utf-8 -*-
     
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
     
    import scrapy
     
     
    class TxmoviesItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        name = scrapy.Field()
        description = scrapy.Field()
    

    4.写爬虫程序

    我们要写的部分是parse方法里的内容,重点在于如何写xpath,关于xpath我不多讲,有兴趣可以看看我另一篇文章,XPATH教程

    引入刚刚写好的item,刚刚说了item里面创建的变量就是字典的键值,可以直接进行赋值。赋值后交给管道处理。

    简单讲一下这一段代码的思路,首先腾讯视频的url为https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30

    我们注意到offset这一项,第一页的offset为0,第二页为30,依次推列。在程序中这一项用于控制抓取第一页,但是也要给一个范围,不可能无限大,否则会报错,可以去看看腾讯一共有多少页视频,也可以写一个异常捕获机制,捕捉到请求出错则退出。我这里仅仅是示范,所以只给了120,也就是4页。

    yield

    程序里一共有两个yield,我比较喜欢叫它中断,当然中断只在CPU中发生,它的作用是移交控制权,在本程序中,我们对item封装数据后,就调用yield把控制权给管道,管道拿到处理后return返回,又回到该程序。这是对第一个yield的解释。

    第二个yield稍微复杂点,这条程序里利用了一个回调机制,即callback,回调的对象是parse,也就是当前方法,通过不断的回调,程序将陷入循环,如果不给程序加条件,就会陷入死循环,如本程序我把if去掉,那就是死循环了。

    yield scrapy.Request(url=url,callback=self.parse)

    xpath

    还有一个要注意的是如何提取xpathl里的数据,我们的写法有四种,第一种写法拿到selector选择器,也就是原数据,里面有一些我们用不到的东西。第二个extract(),将选择器序列号为字符串。第三个和第四个一样,拿到字符串里的第一个数据,也就是我们要的数据。

    items[‘name’]=i.xpath(’./a/@title’)[0]

    items[‘name’]=i.xpath(’./a/@title’).extract()

    items[‘name’]=i.xpath(’./a/@title’).extract_first()

    items[‘name’]=i.xpath(’./a/@title’).get()

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
     
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        start_urls = ['https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30']
        offset=0
     
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
     
                yield items
     
            if self.offset < 120:
                self.offset += 30
                url = 'https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'.format(
                    str(self.offset))
     
                yield scrapy.Request(url=url,callback=self.parse)
    

    5.交给管道输出

    管道可以处理提取的数据,如存数据库。我们这里仅输出。

    # -*- coding: utf-8 -*-
     
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
     
     
    class TxmoviesPipeline(object):
        def process_item(self, item, spider):
            print(item)
            return item
    

    6.run,执行项目

    from scrapy import cmdline
     
    cmdline.execute('scrapy crawl txms'.split())
    

    7.测试结果

    白色的管道输出的结果,红色的调试信息

    img

    8.流程梳理

    新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容,写item-》写爬虫程序,爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序,可以通过终端或者在程序里写一个run程序

    9.提速:多线程爬取

    如果你实现了上面的实验,不难发现其爬取速度是非常慢,根本的原因就是因为它是顺序执行的,你可以从结果中看出,总是前面一页的内容被输出,再输出后面的内容。不适合处理数据量较大的情况,一个好的方式是采用多线程的方法,这里的多线程是基于方法的多线程,并不是通过创建Thread对象来实现,是在一个方法中,一次性把请求交给调度器。

    我们通过重写start_requests方法来实现我们的想法(这个方法的源码在__init__.py下面,有兴趣可以看一下)

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
     
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'
        offset=0
     
        def start_requests(self):
            for i in range(0,121,30):
                url=self.url.format(i)
                yield scrapy.Request(
                    url=url,
                    callback=self.parse
                )
     
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
     
                yield items
    
    展开全文
  • 6.加入表单模型,对小型网站不想第二次开发者,可以快速创建前台表单提交页面。 7.重构模块结构,让模块开发更加简单易用。 8.优化后台访问速度,3.0后后台访问速度提升几倍 9.增加IIS日志分析及404错误记录功能,...
  • 在线客房预订系统源码

    热门讨论 2011-09-02 16:12:16
    为了您能早日拥有自己的网站或让您企业实现电子商务敬请留意本站点,或在“GOOGLE”“ 百度”上直接搜索蓝电科技!只要你想的到您就能早日拥有他,早日展现您自己!展现您的企业文化! 10.该系统最新版本内置有...
  • pdoc:一个可以替换 Epydoc 的库,可以自动生成 Python 库的 API 文档。 Pycco:文学编程(literate-programming)风格的文档生成器。 readthedocs:一个基于 Sphinx/MkDocs 的在线文档托管系统,对开源项目免费...
  • love1度论坛 v7.2.rar

    2019-07-06 00:39:59
    3、上传文件你可以上传upload目录下的文件上传到站点根目录下或上传到你定义的目录下 4、安装执行根目录下的setup.asp文件然后根据提示操作 5、后台的限关键词作用是:如你添加的一个关键词“loveBBS”后,那么...
  • java开源包1

    千次下载 热门讨论 2013-06-28 09:14:34
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包12

    热门讨论 2013-06-28 10:14:45
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • Java资源包01

    2016-08-31 09:16:25
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包101

    2016-07-13 10:11:08
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包11

    热门讨论 2013-06-28 10:10:38
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包6

    热门讨论 2013-06-28 09:48:32
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包10

    热门讨论 2013-06-28 10:06:40
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包8

    热门讨论 2013-06-28 09:55:26
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包9

    热门讨论 2013-06-28 09:58:55
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • java开源包7

    热门讨论 2013-06-28 09:52:16
    利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth ...
  • 商家可以通过此功能组织自己的团购活动(当前比较火),团购是在线即时付款的,最终的团购认领是凭借短信或者打印的订单信息作为凭证去认领团购商品,为了防止虚假认领,系统设计了团购订单验证系统,验证过程中,订单...
  • 小码短链接这款免费扩展,可以一键生成各种网址的多个短链接,并且还同步提供了短链接二维码,对于新媒体工作者而言,是测量内容在各渠道阅读量(转化率)的好工具! 079《Search the current site(站内搜索)》超...
  • 这样博友可以在自己空间中快速定位自己的关心的网站。这样还可以让网友看到自己的一些信息。友情链接及网页访问量统计显示:在博客的个人页面中还提供了推荐给普通网络用户的相关友情链接,此外,对个人页面的访问量...
  • 简介 笔者当初为了学习JAVA,收集了很多经典源码,源码难易程度分为初级、中级、高级等,详情看源码列表,需要的可以直接下载! 这些源码反映了那时那景笔者对未来的盲目,对代码的热情、执着,对IT的憧憬、向往!...
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
     Java生成密钥、保存密钥的实例源码,通过本源码可以了解到Java如何产生单钥加密的密钥(myKey)、产生双钥的密钥对(keyPair)、如何保存公钥的字节数组、保存私钥到文件privateKey.dat、如何用Java对象序列化保存私钥...
  • 符合现行的威客行业及创意产业社区电子商务的解决方案,特别是在快速生成垂直行业领域的交易模型成为KPPW的亮点。新版在保持原有底层结构同时进行了全面的细节功能改进: 1、界面设计提升,用户交互体验改进; ...
  • 并且在SEO管理这里,可以更新站点sitemap(暂时没做程序定时自动更新sitemap) 版本控制 MinDoc之前本身就有版本控制的,但是版本控制的文档内容全都存在数据库中,如果修改频繁而导致修改历史过多的话,数据库...
  • lightCMS的代码一键生成功能可以快速对特定模型生成增删改查代码,极大提高开发效率。 lightCMS基于Laravel 6.x开发,前端框架基于layui。 演示站点:LightCMS Demo。登录信息:admin/admin。请勿存储/删除重要数据...
  • NAS产品已经广泛应用到教育科研、ISP/ASP、IDC、Web/E-mail服务器集群、金融/保险、电信、CAD、医药系统、印刷、网络音视频VOD点播等诸多领域。在国内,也有越来越多的企业认识到数据的安全将成为各行业的命脉。从...
  • C#微软培训教材(高清PDF)

    千次下载 热门讨论 2009-07-30 08:51:17
    超越今天各自为营的 Web 站点 站点站点 站点 把 把把 把 Internet 建成一 建成建成 建成 个 一个一 一个可 可个可 可 以互相交换组件的地方 以互相交换组件的地方以互相交换组件的地方 以...
  • 使用Axure的规格文档生成功能,可以大大减少工作量。可以在Axure的自定义界面中为线框图进行脚注编号、截图,并将全部内容进行组织。尽管配置规格文档也需要一些试验,但所耗费的精力远低于传统手工方式。此外,一旦...

空空如也

空空如也

1 2 3
收藏数 45
精华内容 18
关键字:

为了可以快速生成web站点