精华内容
下载资源
问答
  • scrapy安装路径为D:\Python soft,已经将D:\Python soft和D:\Python soft\Scripts加入到环境变量中... 若在D:\Python soft\Scripts目录下运行scrapy crawl domz,结果出错:unknown command crawl。请问怎么解决?多谢
  • 1.写scrapy遇到crawlUnknown command:错误: 2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件 3.注意把文件中的default和project改成自己的工程名 4.加完scrapy.cfg文件后,在运行之后...

    1.写scrapy遇到crawlUnknown command:错误:

    2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件这里是放scrapy.cfg文件位置
    3.注意把文件中的default和project改成自己的工程名
    一定要改,不然文件还会继续报错
    4.加完scrapy.cfg文件后,在运行之后就可以了

    展开全文
  • 应该在有scrapy.cfg的文件下运行cmd scrapy crawl quotes

    应该在有scrapy.cfg的文件下运行cmd
    scrapy crawl quotes

    展开全文
  • Unknown command: crawl

    2020-04-03 14:34:04
    Unknown command: crawl Use "scrapy" to see available commands 解决方法: 1、创建 scrapy 项目,并进入项目 scrapy startproject tutorial cd tutorial 2、在项目根目录下的 tutorial/spiders/ 下新建...

    在执行 scrapy 时,报如下错误:

    Unknown command: crawl
     
    Use "scrapy" to see available commands

    解决方法:

    1、创建 scrapy 项目,并进入项目

    scrapy startproject tutorial
    cd tutorial

    2、在项目根目录下的 tutorial/spiders/ 下新建爬虫文件 quotes_spider.py

    vi quotes_spider.py
     
    import scrapy
     
     
    class QuotesSpider(scrapy.Spider):
        name = "quotes"
     
        def start_requests(self):
            urls = [
                'http://quotes.toscrape.com/page/1/',
                'http://quotes.toscrape.com/page/2/',
            ]
            for url in urls:
                yield scrapy.Request(url=url, callback=self.parse)
     
        def parse(self, response):
            page = response.url.split("/")[-2]
            filename = 'quotes-%s.html' % page
            with open(filename, 'wb') as f:
                f.write(response.body)
            self.log('Saved file %s' % filename)

    3、返回到项目根目录,执行如下代码,能够成功执行爬虫程序

    scrapy crawl quotes

     

    展开全文
  • 今天用pycharm调试新建的scrapy-redis项目报错: Connected to pydev debugger (build 183.4588.64) ...Unknown command: crawl Use "scrapy" to see available commands 我没有用scrapy crawl xxx的...

    今天用pycharm调试新建的scrapy-redis项目报错:

    Connected to pydev debugger (build 183.4588.64)
    Scrapy 1.8.0 - no active project
    
    Unknown command: crawl
    
    Use "scrapy" to see available commands
    

    我没有用scrapy crawl xxx的形式运行scrapy,而是写了个启动脚本运行:

    main.py:

    from scrapy.cmdline import execute
    import sys
    import os
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(["scrapy","crawl","douban_redis"])
    

    看了一下别人的错误报告,基本都是因为没有使用scrapy startproject xxx创建scrapy项目而导致的缺少scrapy.cfg文件,而我的项目是存在scrapy.cfg文件的。

    我的目录结构:
    在这里插入图片描述

    于是考虑到可能是我的启动脚本有问题。可是我main.py在别的项目里是可以的,证明代码部分不存在问题。

    于是考虑到可能是启动脚本的启动环境有问题,点击编辑配置在这里插入图片描述

    感觉到可能是Working directory的问题。
    在这里插入图片描述

    看了一下正常项目的Working directory
    在这里插入图片描述

    果然,错误原因是运行脚本的启动环境设置错误。

    展开全文
  • 解决Scrapy报错: Unknown Command 'crawl'问题描述:报错:原因分析:解决方案: 问题描述: 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行,出现报错’...
  • 1、在cmd中输入scrapy crawl mySpider 提示如下 D:\python_crawl\crawl_software>scrapy crawl mySpider ...Unknown command: crawl Use "scrapy" to see available commands 原因: 没有...
  • Unknown command:crawl 报错 在vscode中的处理办法

    千次阅读 热门讨论 2019-03-15 11:23:01
    我的scrapy项目在cmd可以正确运行,但是在我编写好的用于运行的main.py文件里运行却会报错,报错内容是“unknown command crawl”。 排除的原因:main.py文件位置错误,scrapy.cfg文件位置错误或缺失或内容错误,爬虫...
  • 出现这个问题,很大原因是爬虫没有在项目文件夹里运行,因为scrapy 这个爬虫框架封装好的一些命令,必须在框架内环境支持下才能运行 另外在环境目录下,还有很多命令,也必须在此路径环境下才能执行 可以通过...
  • 参考:Unknown command: crawl(爬虫框架Scrapy遇到的常见错误) 我自己的解决过程:cmd下的路径设置为D:\lagua\study\coding\pythonPractice\mingyan 这里需要注意:开始使用strat startproject D:\lagua\study\...
  • 一、报错 报错的界面截图: 报错解析:该报错是找不到配置文件,无法执行douban 项目。可能原因如下: 路径不对:没有切换路径到douban 项目下或没有把douban 文件夹添加到一个sys路径;... 少了配置文件scrapy....
  • Unknown command: crawl Use "scrapy" to see available commands 原因是没有切换到要crawl的项目目录下:比如 C:\Users\Administrator\PycharmProjects>scrapy crawl douban 是错误的! 得进入到douban项目...
  • 在运行别人的scrapy项目时,使用命令行 scrapy crawl douban(douban是该项目里爬虫的名字,烂大街的小项目---抓取豆瓣电影)。  执行之后,出现报错如下:    上网搜寻无果。  大多数是说路径不对,需要...
  • Scrapy框架(1.2.0)并没有直接周期性爬取的命令,而且如果配置不当,会导致Unknown command: crawl的报错,配置周期执行并不简单,因此这篇博客解决这个问题,一劳永逸。 思路是:调用linux的定时任务定时执行一个...
  • 在cmd中输入scrapy crawl mySpider 提示如下: 原因是因为: 没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg 解决方法: 在scrapy.cfg的路径下打开cmd,运行爬虫即可 ...
  • from scrapy import cmdline import os dirpath=os.path.dirname(os.path.abspath(__file__)) # 获取当前路径 sys.path.append(dirpath) # 把当前的路径添加进sys路径中 cmdline.execute(['scrapy','crawl','douban...
  • 如上图所示 ,在scrapy练习中,使用Scrapy crawl *** 会报错 其原因就是:没有切换到根目录下执行命令 继续cd到相应的根目录 转载于:https://my.oschina.net/u/3711222/blog/1553601
  • Unknown command: crawl Use "scrapy" to see available commands 解决办法: (1)在cmd命令窗口运行未出错,pycharm运行地址错误。 pycharm未进入项目地址。使用 cd XX 进入即可。 (2)...

空空如也

空空如也

1 2 3 4
收藏数 75
精华内容 30
关键字:

commandcrawlunknown