精华内容
下载资源
问答
  • 拉钩scrapy爬虫案例

    2020-03-29 00:06:38
    scrapy框架爬取拉钩职位信息,保存为csv文件,并上传到mysql数据库当中。此案例仅用于学习爬虫技术,不作商业用途。若侵权,请联系删除。
  • scrapy爬虫实例代码

    2018-05-06 14:24:27
    此部分代码是使用scrapy框架进行爬虫的实例,按照以下文章分享的内容进行整理的https://cuiqingcai.com/3472.html,欢迎有兴趣的同学进行下载学习。
  • Scrapy爬虫案例01——翻页爬取

    千次阅读 2020-04-08 19:50:07
     我是用的是pycharm开发,打开pycharm,然后在下面的“Terminal”中输入命令“scrapy startproject freebuf”。这句话是在你的工作空间中创建一个叫“freebuf”的scrapy工程。如下图: 上图中,因为我的工作空间...

    创建工程

      我是用的是pycharm开发,打开pycharm,然后在下面的“Terminal”中输入命令“scrapy startproject freebuf”。这句话是在你的工作空间中创建一个叫“freebuf”的scrapy工程。如下图:

    上图中,因为我的工作空间中已经存在“freebuf”所以第一次创建失败,这里我创建的名字为"freebuf2",创建成功。freebuf2的目录及说明如下:

    编写爬虫

    freebuf2Spider.py

      选中“spiders”文件夹,右键“NEW”->"Python File",输入文件名“freebuf2Spider”,添加代码。如下图所示。

     

    #coding:utf-8
    import scrapy
    from freebuf2.items import Freebuf2Item
    import time
    from scrapy.crawler import CrawlerProcess
    
    class freebuf2Spider(scrapy.Spider):
        name ='freebuf2'
        allowed_domains = []
    
        start_urls = ["http://www.freebuf.com/"]
    
        def parse(self, response):
    
            for link in response.xpath("//div[contains(@class, 'news_inner news-list')]/div/a/@href").extract():
    
    
                yield scrapy.Request(link, callback=self.parse_next)#这里不好理解的朋友,先去看看yield的用法。我是按协程(就是中断执行)理解的,感觉容易理解。
    
    
    
            next_url = response.xpath("//div[@class='news-more']/a/@href").extract()#找到下一个链接,也就是翻页。
    
    
    
            if next_url:
    
                yield scrapy.Request(next_url[0],callback=self.parse)
    
        def parse_next(self,response):
            item = Freebuf2Item()
            item['title'] = response.xpath("//h2/text()").extract()
            item['url'] = response.url
            item['date'] = response.xpath("//div[@class='property']/span[@class='time']/text()").extract()
            item['tags'] = response.xpath("//span[@class='tags']/a/text()").extract()
    
            yield item

     


    item.py

      itmes对象是种简单的容器,你可以理解为dict,保存了爬取到得数据。代码如下:

     

     

    import scrapy
    
    
    class Freebuf2Item(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        title = scrapy.Field()
    
        date = scrapy.Field()
        url = scrapy.Field()
        tags = scrapy.Field()

     

     

    学做优雅的爬虫

      上面代码已经完成了一个简单的翻页爬虫,但是为了做一个优雅的爬虫。我们还需要对其设置访问间隔时间,在settings.py中添加“DOWNLOAD_DELAY = 3”。意思是,每3秒请求一次。

     

    好了,大功告成。在pycharm中的“Terminal”(cmd也可以哈),切换倒freebuf2工程目录下(就是第一个freebuf2文件夹),输入命令“scrapy crawl freebuf2 -o freebuf2.csv”。就可以运行了。如果想停止,直接输入“shutdown”就可以了。最后看看数据吧。

     

    数据:

    展开全文
  • scrapy爬虫完整案例.zip

    2020-06-28 11:18:43
    案例相对完整,欢饮下载交流。有疑问,可以留言,一起交流探讨并发掘爬虫世界的美!该案例结构清晰,注释明了,可以使大家很好地理解scrapy爬虫框架。
  • scrapy爬虫完整实例

    2020-12-25 04:54:46
    本文主要通过实例介绍了scrapy框架的使用,分享了两个例子,爬豆瓣文本例程 douban 和图片例程 douban_imgs ,具体如下。 例程1: douban 目录树 douban --douban --spiders --__init__.py --bookspider.py --...
  • 使用Python2.7 ,scrapy爬取信息并保存到MySQL数据库,
  • Scrapy爬虫框架,入门案例(非常详细)

    万次阅读 多人点赞 2020-03-21 15:44:49
    Scrapy,Python开发的一个快速、高...其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...

     

    目录

    一、概述

    二、Scrapy五大基本构成:

    三、整体架构图

    四、Scrapy安装以及生成项目

    五、日志等级与日志保存

    六、导出为json或scv格式

    七、一个完整的案例


    一、概述

    Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试.

    其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫.

    Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持.

    二、Scrapy五大基本构成:

    Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。

    (1)、调度器(Scheduler):

    调度器,说白了把它假设成为一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是 什么,同时去除重复的网址(不做无用功)。用户可以自己的需求定制调度器。

    (2)、下载器(Downloader):

    下载器,是所有组件中负担最大的,它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂,但效率高,主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。

    (3)、 爬虫(Spider):

    爬虫,是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法),用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。

    (4)、 实体管道(Item Pipeline):

    实体管道,用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。

    (5)、Scrapy引擎(Scrapy Engine):

    Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上,引擎相当于计算机的CPU,它控制着整个流程。

     

    三、整体架构图

    本图按顺序说明整个程序执行时候发生的顺序。

    注意在调用下载器时,往往有一个下载器中间件,使下载速度提速。

    官网架构图 

     

    四、Scrapy安装以及生成项目

     

    新建一个项目,该项目的结构如下:

     

    执行命令,widows和ubuntu命令格式是一样的:

    下载方式

    ubuntu,打开一个终端,输入pip install scrapy(或pip3  install scrapy)

    widows ,打开一个cmd,输入pip install scrapy,前提是你装了pip

    详细安装请点这

     

    scrapy startproject 项目名

    scrapy genspider 爬虫名 域名

    scrapy crawl 爬虫名

    我使用的是widows版本,下面演示创建项目的例子

    打开cmd,输入(默认是在C:\Users\Administrator>这个目录下,你可以自行切换)

    scrapy startproject myfirstPj

    cd my firstPj

    scrapy genspider baidu www.baidu.com

    创建后目录大致页如下

    |-ProjectName              #项目文件夹

       |-ProjectName           #项目目录

          |-items.py               #定义数据结构

          |-middlewares.py    #中间件

          |-pipelines.py          #数据处理

          |-settings.py            #全局配置

          |-spiders               

              |-__init__.py       #爬虫文件

              |-baidu.py

       |-scrapy.cfg               #项目基本配置文件

     

    spiders下的baidu.py是scrapy自动为我们生成的

     

    下面再看一下spdier项目的配置文件,打开文件settings.py 

    BOT_NAME:项目名

    USER_AGENT:默认是注释的,这个东西非常重要,如果不写很容易被判断为电脑,简单点洗一个Mozilla/5.0即可

    ROBOTSTXT_OBEY:是否遵循机器人协议,默认是true,需要改为false,否则很多东西爬不了

     

     CONCURRENT_REQUESTS:最大并发数,很好理解,就是同时允许开启多少个爬虫线程

    DOWNLOAD_DELAY:下载延迟时间,单位是秒,控制爬虫爬取的频率,根据你的项目调整,不要太快也不要太慢,默认是3秒,即爬一个停3秒,设置为1秒性价比较高,如果要爬取的文件较多,写零点几秒也行

    COOKIES_ENABLED:是否保存COOKIES,默认关闭,开机可以记录爬取过程中的COKIE,非常好用的一个参数

    DEFAULT_REQUEST_HEADERS:默认请求头,上面写了一个USER_AGENT,其实这个东西就是放在请求头里面的,这个东西可以根据你爬取的内容做相应设置。

     

    ITEM_PIPELINES:项目管道,300为优先级,越低越爬取的优先度越高

     比如我的pipelines.py里面写了两个管道,一个爬取网页的管道,一个存数据库的管道,我调整了他们的优先级,如果有爬虫数据,优先执行存库操作。

    ITEM_PIPELINES = {
        'scrapyP1.pipelines.BaiduPipeline': 300,
        'scrapyP1.pipelines.BaiduMysqlPipeline': 200,
    }

     

     到这里我们尝试用scrapy做一下爬取,打开spider.py下的baidu.py(取决于你scrapy genspider 爬虫名 域名时输入的爬虫名)

    输入一下代码,我们使用xpath提取百度首页的标题title

    import scrapy
    
    
    class BaiduSpider(scrapy.Spider):
        name = 'baidu'
        allowed_domains = ['www.baidu.com']
        start_urls = ['http://www.baidu.com/']
    
        def parse(self, response):
            tile=response.xpath('//html/head/title/text()')
            print(tile)

     

    打开一个终端cmd,输入scrapy crawl baidu(爬虫名),就可以看到一大堆输出信息,而其中就包括我们要的内容

     

    使用终端运行太麻烦了,而且不能提取数据,我们一个写一个run文件作为程序的入口,splite是必须写的,目的是把字符串转为列表形式,第一个参数是scrapy,第二个crawl,第三个baidu

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu'.split())

    可以在编辑器中输出了 

     

    五、日志等级与日志保存

    在setting.py里面可以设置日志的等级与日志存放的路径

    相关变量

    LOG_LEVEL= ""

    LOG_FILE="日志名.log"

    日志等级分为

    1.DEBUG 调试信息

    2.INFO 一般信息

    3.WARNING 警告

    4.ERROR 普通错误

    5.CRITICAL 严重错误

    如果设置

    LOG_LEVEL="WARNING",就只会WARNING等级之下的ERROR和CRITICAL

    默认等级是1

     

    六、导出为json或scv格式

    执行爬虫文件时添加-o选项即可

    scrapy crawl 项目名 -o *.csv

    scrapy crawl 项目名 -o *.json

    对于json文件,在setting.js文件里添加,设置编码格式,否则会乱码:

    FEED_EXPORT_ENCODING='utf-8'

    示例:

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl baidu -o baidu.csv'.split())

     

    七、一个完整的案例

    这个项目我们的主题是爬腾讯视频的电影信息,包括电影名和描述

     

    1.创建项目

    打开一个终端输入(建议放到合适的路径下,默认是C盘)

    scrapy startproject TXmovies

    cd TXmovies

    scrapy genspider txms v.qq.com

    2.修改setting

    修改三项内容,第一个是不遵循机器人协议,第二个是下载间隙,由于下面的程序要下载多个页面,所以需要给一个间隙(不给也可以,只是很容易被侦测到),第三个是请求头,添加一个User-Agent,第四个是打开一个管道

    ROBOTSTXT_OBEY = False
    
    DOWNLOAD_DELAY = 1
    
    DEFAULT_REQUEST_HEADERS = {
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language': 'en',
      'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    }
    
    ITEM_PIPELINES = {
       'TXmovies.pipelines.TxmoviesPipeline': 300,
    }

     

    3.确认要提取的数据,item项

    item定义你要提取的内容(定义数据结构),比如我提取的内容为电影名和电影描述,我就创建两个变量。Field方法实际上的做法是创建一个字典,给字典添加一个建,暂时不赋值,等待提取数据后再赋值。下面item的结构可以表示为:{'name':'','descripition':''}。

    # -*- coding: utf-8 -*-
    
    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    
    class TxmoviesItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
        name = scrapy.Field()
        description = scrapy.Field()
    

    4.写爬虫程序

    我们要写的部分是parse方法里的内容,重点在于如何写xpath,关于xpath我不多讲,有兴趣可以看看我另一篇文章,XPATH教程

    引入刚刚写好的item,刚刚说了item里面创建的变量就是字典的键值,可以直接进行赋值。赋值后交给管道处理。

    简单讲一下这一段代码的思路,首先腾讯视频的url为https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30

    我们注意到offset这一项,第一页的offset为0,第二页为30,依次推列。在程序中这一项用于控制抓取第一页,但是也要给一个范围,不可能无限大,否则会报错,可以去看看腾讯一共有多少页视频,也可以写一个异常捕获机制,捕捉到请求出错则退出。我这里仅仅是示范,所以只给了120,也就是4页。

     

    yield

    程序里一共有两个yield,我比较喜欢叫它中断,当然中断只在CPU中发生,它的作用是移交控制权,在本程序中,我们对item封装数据后,就调用yield把控制权给管道,管道拿到处理后return返回,又回到该程序。这是对第一个yield的解释。

    第二个yield稍微复杂点,这条程序里利用了一个回调机制,即callback,回调的对象是parse,也就是当前方法,通过不断的回调,程序将陷入循环,如果不给程序加条件,就会陷入死循环,如本程序我把if去掉,那就是死循环了。

    yield scrapy.Request(url=url,callback=self.parse)

     

    xpath

    还有一个要注意的是如何提取xpathl里的数据,我们的写法有四种,第一种写法拿到selector选择器,也就是原数据,里面有一些我们用不到的东西。第二个extract(),将选择器序列号为字符串。第三个和第四个一样,拿到字符串里的第一个数据,也就是我们要的数据。

    items['name']=i.xpath('./a/@title')[0]

    items['name']=i.xpath('./a/@title').extract()

    items['name']=i.xpath('./a/@title').extract_first()

    items['name']=i.xpath('./a/@title').get()

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        start_urls = ['https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30']
        offset=0
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items
    
            if self.offset < 120:
                self.offset += 30
                url = 'https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'.format(
                    str(self.offset))
    
                yield scrapy.Request(url=url,callback=self.parse)
    

    5.交给管道输出

    管道可以处理提取的数据,如存数据库。我们这里仅输出。

    # -*- coding: utf-8 -*-
    
    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    class TxmoviesPipeline(object):
        def process_item(self, item, spider):
            print(item)
            return item
    

    6.run,执行项目

    from scrapy import cmdline
    
    cmdline.execute('scrapy crawl txms'.split())

    7.测试结果

    白色的管道输出的结果,红色的调试信息

     

    8.流程梳理

    新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容,写item-》写爬虫程序,爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序,可以通过终端或者在程序里写一个run程序

     

    9.提速:多线程爬取

    如果你实现了上面的实验,不难发现其爬取速度是非常慢,根本的原因就是因为它是顺序执行的,你可以从结果中看出,总是前面一页的内容被输出,再输出后面的内容。不适合处理数据量较大的情况,一个好的方式是采用多线程的方法,这里的多线程是基于方法的多线程,并不是通过创建Thread对象来实现,是在一个方法中,一次性把请求交给调度器。

    我们通过重写start_requests方法来实现我们的想法(这个方法的源码在__init__.py下面,有兴趣可以看一下)

    # -*- coding: utf-8 -*-
    import scrapy
    from ..items import TxmoviesItem
    
    class TxmsSpider(scrapy.Spider):
        name = 'txms'
        allowed_domains = ['v.qq.com']
        url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'
        offset=0
    
        def start_requests(self):
            for i in range(0,121,30):
                url=self.url.format(i)
                yield scrapy.Request(
                    url=url,
                    callback=self.parse
                )
    
        def parse(self, response):
            items=TxmoviesItem()
            lists=response.xpath('//div[@class="list_item"]')
            for i in lists:
                items['name']=i.xpath('./a/@title').get()
                items['description']=i.xpath('./div/div/@title').get()
    
                yield items
    

     

    展开全文
  • Scratch,是抓取的意思,这个Python的爬虫框架叫Scrapy,大概也是这个意思吧,就叫它:小刮刮吧。 小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架,它可以应用在广泛领域:数据挖掘、信息处理和或者...
  • scrapy爬虫简单案例

    2020-09-10 22:55:02
    scrapy startproject article 三、创建爬虫主程序 scrapy genspider xinwen www.hbskzy.cn #命令后面加爬虫名和域名 #不能和项目名同名 四、依次编写items,spider,pipelines,settings items文件: # Define here ...

    一、创建文件夹

    进入cmd命令行,切到D盘

    #cmd
    D:
    

    创建article文件夹

    mkdir article
    

    二、创建项目

    scrapy startproject article
    

    三、创建爬虫主程序

    scrapy genspider xinwen www.hbskzy.cn
    #命令后面加爬虫名和域名
    #不能和项目名同名
    

    四、依次编写items,spider,pipelines,settings

    items文件:

    # Define here the models for your scraped items
    #
    # See documentation in:
    # https://docs.scrapy.org/en/latest/topics/items.html
    
    import scrapy
    
    
    class ArticleItem(scrapy.Item):
        # define the fields for your item here like:
        title = scrapy.Field()
        link = scrapy.Field()
    

    spider文件:

    import scrapy
    from shuichan.items import ShuichanItem
    from scrapy import Request
    class YuSpider(scrapy.Spider):
        name = 'yu'
        allowed_domains = ['bbs.liyang-tech.com']
    
    
        def start_requests(self):
            urls = ['http://bbs.liyang-tech.com/forum.php?mod=forumdisplay&fid=4&page=%s'%(i) for i in range(1,20)]
            for i in urls:
                yield Request(url = i,callback = self.next_parse)
    
        def next_parse(self, response):
            www = 'http://bbs.liyang-tech.com/'
            item = ShuichanItem()
            title = response.xpath('//*/tr/th/a[2]/text()')[3:].extract()
            href = response.xpath('//*/tr/th/a[2]/@href')[3:].extract()
            for i in range(len(title)):
                item['title'] = title[i]
                item['link'] = href[i]
                yield item
    

    pipelines文件:

    # Define your item pipelines here
    #
    # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    # See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
    
    
    # useful for handling different item types with a single interface
    from itemadapter import ItemAdapter
    
    class ArticlePipeline:
        def process_item(self, item, spider):
        	return item
    
    

    settings文件:

    # Scrapy settings for article project
    #
    # For simplicity, this file contains only settings considered important or
    # commonly used. You can find more settings consulting the documentation:
    #
    #     https://docs.scrapy.org/en/latest/topics/settings.html
    #     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
    #     https://docs.scrapy.org/en/latest/topics/spider-middleware.html
    
    BOT_NAME = 'article'
    
    SPIDER_MODULES = ['article.spiders']
    NEWSPIDER_MODULE = 'article.spiders'
    FEED_FORMAT = 'CSV'      #可选
    FEED_URI = '文件名.csv'	 #可选
    
    # Crawl responsibly by identifying yourself (and your website) on the user-agent
    #USER_AGENT = 'article (+http://www.yourdomain.com)'
    
    # Obey robots.txt rules
    ROBOTSTXT_OBEY = True
    

    五、运行爬虫

    编写完检查各个文件代码错误,认真检查
    然后启动爬虫,先进入cmd命令行输入:

    cd /D D:/article/article
    
    scrapy crawl xinwen
    

    网页分析的过程这里不讲,请提前测试调试爬虫,否则容易产生报错信息。
    完成后会在article目录下生成一个csv文件:
    在这里插入图片描述
    打开后
    在这里插入图片描述
    tip:如果写入空值也是会报错的,可以在管道文件加入if判断

    if 'key' in item:
    
    展开全文
  • 一个Scrapy爬虫实例

    千次阅读 2021-03-22 16:39:03
    目录Scrapy是啥Scrapy的安装实例:爬取美剧天堂new100:(1)创建工程:(2) 创建爬虫程序(3) 编辑爬虫(4)设置item模板:(5) 设置配置文件(6)设置数据处理脚本:(7)运行爬虫 Scrapy是啥 scrapy是一个使用python...

    Scrapy是啥

    scrapy是一个使用python编写的开源网络爬虫框架。这里的框架实际上就是应用程序的骨架,是一个半成品,框架能够保证程序结构风格统一。

    Scrapy的安装

    pip install Scrapy。但在此之前要先安装几个包:
    在cmd中运行以下语句:
    (1) pip install wheel
    (2) pip install lxml
    (3) pip install twisted
    (4) 最后 pip install scrapy
    (5) 验证Scrapy框架是否安装成功:
    打开python,试试import scrapy 和scrapy.version_info
    验证安装
    如图看到Scrapy库的版本为2.4.1

    实例:爬取美剧天堂new100:

    (1)创建工程:

    找一个文件夹,打开cmd进入该目录。
    输入命令:
    Scrapy startproject movie
    在这里插入图片描述
    这时可以看到该目录下多了一个叫movie的文件夹,而这个文件夹里面还有一个叫movie的文件夹,里面是这样的:
    在这里插入图片描述
    这样Scrapy项目就成功创建了。

    (2) 创建爬虫程序

    用cd先进入movie目录,输入命令:
    Scrapy genspider meiju meijutt.tv
    在这里插入图片描述
    该命令创建了一个叫meiju的爬虫
    这时查看spiders目录可以看到多了一个meiju.py,就是我们刚创建的爬虫。

    (3) 编辑爬虫

    用编辑器打开meiju.py
    这是我们的目标
    这个网站的内容是我们的爬取目标

    import scrapy
    from movie.items import MovieItem
    
    class MeijuSpider(scrapy.Spider):  # 继承这个类
        name = 'meiju'  #名字
        allowed_domains = ['meijutt.tv']  # 域名
        start_urls = ['https://www.meijutt.tv/new100.html']  # 要补充完整
    
        def parse(self, response):
            movies = response.xpath('//ul[@class="top-list  fn-clear"]/li')  # 看不懂
            for each_movie in movies:
            item = MovieItem()
            item['name'] = each_movie.xpath('./h5/a/@title').extract()[0]
            yield item  # 一种特殊的循环
    
    

    (4)设置item模板:

    在items中输入:

    import scrapy
    
    
    class MovieItem(scrapy.Item):
        # define the fields for your item here like:
        # name = scrapy.Field()
    name = scrapy.Field()
    

    (5) 设置配置文件

    在settings.py中增加代码:

    ITEM_PIPELINES = {'movie.pipelines.MoviePipeline':100}
    

    (6)设置数据处理脚本:

    在pipelines.py中输入代码:

    import json
    
    class MoviePipeline(object):
        def process_item(self, item, spider):
            return item
    

    (7)运行爬虫

    在爬虫根目录执行命令:
    Scrapy crawl meiju

    Emm发现meiju.py有错误,看了一下是由于冒号后面的语句没有缩进。

    现在看看那两个xpath选择器的内容:

    movies = response.xpath('//ul[@class="top-list  fn-clear"]/li')
            # 意思是选中所有的属性class值为"top-list  fn-clear"的ul下的li标签内容
    

    在这里插入图片描述

    也就是说movies得到的是li标签之间的内容的列表

    for each_movie in movies:
                item = MovieItem()
                item['name'] = each_movie.xpath('./h5/a/@title').extract()[0]
                # .表示选取当前节点,也就是对每一项li,其下的h5下的a标签中title的属性值
                yield item  # 一种特殊的循环
    

    修改增加缩进,并修改第一个xpath的内容后再次运行:
    在这里插入图片描述

    可以看到爬取成功

    展开全文
  • scrapy爬虫简单实例

    2020-04-10 10:33:08
    打开cmd,先用命令行,定位到某个目录,然后执行’scrapy startproject 项目名’,创建爬虫项目,然后打开item文件,代码如下: # -*- coding: utf-8 -*- import scrapy class SpiderctoItem(scrapy.Item): # define ...
  • scrapy爬虫完整的代码实例

    千次阅读 2019-03-26 17:00:05
    scrapy startproject tutorial 进入tutorial目录,在spider下面新建quotes_spider.py import scrapy from ..items import QuotesItem #coding:utf-8 class QuotesSpider(scrapy.Spider): name = "quot...
  • 文档:Scrapy爬虫流程及项目实例.note 链接:点此查看
  • 本文是从0开始编写一个Scrapy爬虫案例,将结果保存为本地json格式,其中会介绍一些文件的作用。适合新手一起共同学习入门。文末会给出完整可操作的代码 一、爬取的网站 我们打算爬取的是:...
  • scrapy爬虫爬取csdn博客新闻列表保存到本地数据库。这个是本人最近学习爬虫的一个实践案例,源码解析详情请移步博文:https://blog.csdn.net/xiaocy66/article/details/83834261
  • 一门持续迭代三年的良心口碑课学习入口: https://mianbaoduo.com/o/bread/ZpuVmpk=3年时间累计解决问题4577条3年时间内容迭代10+小时3年时间从未涨价2017...以新技术版本重新录制案例 进行技术迭代2.有针对性的进行...
  • Scrapy爬虫案例-淘宝比价定向爬虫学习笔记 学习教程:Python网络爬虫与信息提取 授课老师:嵩天 官方网站:https://python123.io 教程链接:https://python123.io/index/courses/804 “淘宝比价定向爬虫”实例...
  • 文章目录前言一、首先先创建一个Scrapy爬虫框架二、进行爬虫的一些设置1.打开settings.py三、构建访问路径1.对网址进行分析2.二次分析网址四、爬取内容1.爬取标题2.爬取内容简介3.爬取正文内容4.获取内容全部代码...
  • 而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如:豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索用户的舆论导向。淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的...
  • Scrapy爬虫案例剖析

    2019-12-05 09:07:07
    由于互联网的极速发展,所有现在的信息处于大量堆积的状态,我们既要向外界获取大量数据,又要在大量数据中过滤无用的数据。针对我们有益的数据需要我们进行指定抓取,从而出现了现在的爬虫技术,...本文案例代码地...
  • 文章目录制作 Scrapy 爬虫 一共需要4步:首先要运行scrapy肯定需要下载组件创建一个Scrapy项目各组件配置 制作 Scrapy 爬虫 一共需要4步: 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目 明确目标 ...
  • 案例有以下几个步骤 1、scrapy shell 使用 2、创建scrapy项目 3、创建数据库 4、编写爬虫 一、scrapy shell 使用 安装pycharm专业版(数据库要用到),ipython, 打开windows命令提示符,然后输入scrapy...
  • Python程序设计第章10基于Scrapy架构的Python爬虫案例分析前言 本章我们首先将以互联网上最流行的网络爬虫为基础学习与掌握网络爬虫的基本原理和实现技术随后讲解实现网络爬虫的Scrapy架构最后开发几种典型的网络...
  • scrapy爬虫案例-----赶集网

    千次阅读 多人点赞 2021-03-27 19:17:35
    构造爬虫及代码解读(1)settings.py(2)ganji.py(3)run.py(4)items.py(5)pipelines.py(6)前十条数据3.蜘蛛侠的小Tips(不是黑丝) 1.蜘蛛侠思路: 赶集网 爬取网站的url地址:点击超链接-----赶集网主页------- 步骤...
  • 结果TXT文本里面竟然没有内容!cry~ 编写程序: 步骤: 1. 建立工程和Spider模板 2. 编写Spider 3. 编写ITEM Pipelines ...scrapy startproject BaiduStocks ... New Scrapy project 'BaiduSto...
  • scrapy爬虫案例

    2018-12-03 15:53:00
     是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略。 start_urls = ()  :爬取的URL元组/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些...
  • Scrapy爬虫几个案例

    2019-09-04 18:05:59
    1、用基础爬虫爬取糗事百科段子 class QsbkSpider(scrapy.Spider): name = 'qsbk' allowed_domains = ['qiushibaike.com'] start_urls = ['https://www.qiushibaike.com/text/page/1/'] base_url = '...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,996
精华内容 1,998
关键字:

scrapy爬虫案例

爬虫 订阅