精华内容
下载资源
问答
  • scrapy 安装

    2020-04-21 11:24:36
    文章目录scrapy 安装安装python管理模块anaconda下载位置环境变量使用conda命令安装scrapy安装命令一些常见的错误 安装python管理模块anaconda 下载位置 下载位置可以去清华镜像,不要问为什么?除非你可以忍受特别...

    scrapy 安装

    安装python管理模块anaconda

    下载位置

    下载位置可以去清华镜像,不要问为什么?除非你可以忍受特别低的下载速度 点击进入下载页面 选择你需要的版本

    环境变量

    配置环境变量

    将conda的安装目录配置到你的环境变量中路径有两个,我的安装位置为默认的,你可以根据自己的安装位置自行设置。但是目录要是这三个。

    C:\ProgramData\Anaconda3
    C:\ProgramData\Anaconda3\Scripts
    C:\ProgramData\Anaconda3\Library\bin
    

    使用conda命令安装scrapy

    安装命令

    命令如下:

    conda install scrapy
    

    一些常见的错误

    测试scrapy命令:

    # 输入命令scrapy
    #如果报错就说明暂时不能用这个命令,你这时候需要解决一下报错的原因
    #比如我的就报错:
    Traceback (most recent call last):
      File "C:\ProgramData\Anaconda3\Scripts\scrapy-script.py", line 6, in <module>
        from scrapy.cmdline import execute
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\__init__.py", line 34, in <module>
        from scrapy.spiders import Spider
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\spiders\__init__.py", line 10, in <module>
        from scrapy.http import Request
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\http\__init__.py", line 11, in <module>
        from scrapy.http.request.form import FormRequest
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\http\request\form.py", line 11, in <module>
        import lxml.html
      File "C:\ProgramData\Anaconda3\lib\site-packages\lxml\html\__init__.py", line 54, in <module>
        from .. import etree
    ImportError: DLL load failed: 找不到指定的模块。
    

    这个原因是因为我的lxml版本不匹配

    修复的时候使用如下命令

    pip uninstall lxml
    pip install lxml
    # 其实也就是卸载重装即可
    

    然后创建项目,其实你还会遇到一个问题

    C:\work>scrapy startproject xxx
    
    Traceback (most recent call last):
      File "C:\ProgramData\Anaconda3\Scripts\scrapy-script.py", line 10, in <module>
        sys.exit(execute())
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\cmdline.py", line 149, in execute
        cmd.crawler_process = CrawlerProcess(settings)
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\crawler.py", line 254, in __init__
        log_scrapy_info(self.settings)
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\utils\log.py", line 149, in log_scrapy_info
        for name, version in scrapy_components_versions()
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\utils\versions.py", line 35, in scrapy_components_versions
        ("pyOpenSSL", _get_openssl_version()),
      File "C:\ProgramData\Anaconda3\lib\site-packages\scrapy\utils\versions.py", line 43, in _get_openssl_version
        import OpenSSL
      File "C:\ProgramData\Anaconda3\lib\site-packages\OpenSSL\__init__.py", line 8, in <module>
        from OpenSSL import crypto, SSL
      File "C:\ProgramData\Anaconda3\lib\site-packages\OpenSSL\crypto.py", line 16, in <module>
        from OpenSSL._util import (
      File "C:\ProgramData\Anaconda3\lib\site-packages\OpenSSL\_util.py", line 6, in <module>
        from cryptography.hazmat.bindings.openssl.binding import Binding
      File "C:\ProgramData\Anaconda3\lib\site-packages\cryptography\hazmat\bindings\openssl\binding.py", line 15, in <module>
        from cryptography.hazmat.bindings._openssl import ffi, lib
    

    这个时候你需要安装 cryptography 模块,,命令如下:

    pip install -I cryptography 
    

    它可能又报错:

    ERROR: jupyterlab-server 1.0.0 has requirement jsonschema>=3.0.1, but you'll have jsonschema 2.6.0 which is incompatible.
    
    # 执行如下命令
    pip install jsonschema==3.0.1
    # 成功之后再次执行
    pip install -I cryptography 
    

    这个时候创建项目 scrapy startporject xxx就可以成功了。xxx指的是你的项目。

    如果你想把它导入pycharm中,然后使用pycharm的依赖,那么它可能会报错winerror 127

    这时候你需要使用Anaconda/DLLS中libssl-1_1-x64.dll 替换掉 anaconda3\Library\bin中的libssl-1_1-x64.dll。因为他们日期不一致。

    展开全文
  • Scrapy安装

    千次阅读 2020-12-10 16:31:57
    Scrapy安装 1、直接执行pip install scrapy 时,前面几个文件可以下载,到了Twisted就read time out。此时就需要到官网下载Twisted文件。 2、Twisted文件下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#...

    Scrapy安装

    1、直接执行pip install scrapy 时,前面几个文件可以下载,到了Twisted就read time out。此时就需要到官网下载Twisted文件。
    2、Twisted文件下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    3、找到相应的版本。
    4、再在cmd中找到文件所在的地址进行安装pip install Twisted-18.7.0-cp36-cp36m-win32.whl。最好不要修改文件的名称。
    5、安装完成后再输入pip install scrapy,回车
    6、检测scrapy安装是否成功:在终端输入scrapy,出现以下内容就代表安装成功
    在这里插入图片描述

    展开全文
  • scrapy安装

    2017-11-29 22:33:42
    使用pip 安装pip install scrapy为了确认scrapy安装成功 import scrapy scrapy.version_info编写第一个scrapy爬虫有专门共初爬者训练的爬虫技术的网站: http://books.toscrape.com首先需要创建 Scrapy 项目,在...

    第一:
    使用pip 安装

    pip install scrapy

    为了确认scrapy安装成功
    import scrapy
    scrapy.version_info

    编写第一个scrapy爬虫

    有专门共初爬者训练的爬虫技术的网站: http://books.toscrape.com

    首先需要创建 Scrapy 项目,在shell中使用 scrapy startproject

    scrapy startproject example   ##example是项目的名称
    展开全文
  • Scrapy 安装

    2017-03-14 00:14:34
    pip install Scrapypip安装教程如下: http://blog.csdn.net/u013372487/article/details/51726002

    目前安装的是 scrapy 1.3.3 需要python版本2.7

    pip install Scrapy

    若scrapy命令无法使用,查找scrapy文件创建命令链接

    ln -s /usr/local/python27/bin/scrapy   /usr/bin/scrapy

    pip安装教程如下:
    http://blog.csdn.net/u013372487/article/details/51726002

    展开全文
  • Scrapy安装有问题的,按照这个路径配置下anaconda的环境变量 然后进入pycharm里的工作目录 输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy 安装完成后在cmd中输入scrapy, 显示下图内容则...
  • Python Scrapy 安装及相关配置

    万次阅读 2021-01-11 11:43:52
    Python Scrapy 安装及相关配置 环境 win10 Python:3.6.7 Scrapy:2.4.1 Python 安装 Scrapy 安装 pip install scrapy 解决 Command “python setup.py egg_info” failed with error code 1 问题 更新...
  • python Scrapy安装

    2019-01-26 20:35:44
    本资源为python Scrapy在Windows平台的安装,里面包含了Python安装包以及Scrapy安装所需的各个模块文件,并且附有详细的安装教程供读者朋友们参考。
  • scrapy 安装
  • 傻瓜式Scrapy安装教程

    2018-01-18 15:22:34
    在学习python爬虫的过程中Scrapy的安装真的很难受。这里集合了所有的Scrapy安装所需要的软件,安装的教程视频可以在我的另一个分享中找到。希望对你有帮助!
  • scrapy安装指南

    2017-03-09 17:51:08
    scrapy安装指南
  • scrapy安装教程及工具包,支持python3.5.3 64位
  • 一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取...二、Scrapy安装指南 我们的安装步骤假设你已经安装一下内容:<1>Python2.7<2>lxml<3>OpenSSL,我们使用Python的包管理工具pip或者ea
  • Centos7 Scrapy安装

    2020-01-14 08:20:00
    (一)基础环境 ...(二)Anaconda3 安装Scrapy 使用如下命令安装scrapy conda install scrapy 安装过程 一路yes (三)测试 输入 python import scrapy 一切正常,安装成功 ...
  • Scrapy安装教程

    千次阅读 2018-09-27 17:22:04
    安装scrapy过程中出现各种包安装错误,所以自己一直看教程知道scrapy安装需要准备好各种环境 。 这些包按照从下到上的顺序下载,lxml这个包按下文教程安装。 不想看过多文字和图片的懒人们可看教程视频: ...
  • 这几天,很多朋友在群里问Scrapy安装的问题,其实问题方面都差不多,今天小编给大家整理一下Scrapy的安装教程,希望日后其他的小伙伴在安装的时候不再六神无主,具体的教程如下。 Scrapy是Python网络爬虫的一个框架...
  • scrapy安装教程

    2018-03-28 15:49:14
    直接使用pip install Scrapy安装scrapy途中会出现各种错误,所以我找到了一份scrapy安装教程,按照教程来安装可能可以避免很多不必要的错误。 1.安装lxml  lxml是一种使用 Python 编写的库,可以迅速、灵活地...
  • scrapy安装及PyCharm的scrapy配置

    千次阅读 2017-07-30 11:52:29
    安装scrapy(Windows) 1.进入cmd后,测试一下pip是否安装(pip -h),如下,说明已安装 2.使用命令pip install scrapy 安装scrapy 2.1.该过程中可能出现的问题:error:Unable to find vcvarsall.bat  解决...
  • windows下完整版安装Python Scrapy安装步骤教程
  • scrapy安装文档和Demo

    2016-03-02 11:15:24
    内含scrapy安装文档和Demo http://blog.csdn.net/hy245120020/article/details/50778388

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,282
精华内容 9,312
关键字:

scrapy安装