精华内容
下载资源
问答
  • 1.写scrapy遇到crawlUnknown command:错误: 2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件 3.注意把文件中的default和project改成自己的工程名 4.加完scrapy.cfg文件后,在运行之后...

    1.写scrapy遇到crawlUnknown command:错误:

    2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件这里是放scrapy.cfg文件位置
    3.注意把文件中的default和project改成自己的工程名
    一定要改,不然文件还会继续报错
    4.加完scrapy.cfg文件后,在运行之后就可以了

    展开全文
  • from scrapy import cmdline import os dirpath=os.path.dirname(os.path.abspath(__file__)) # 获取当前路径 sys.path.append(dirpath) # 把当前的路径添加进sys路径中 cmdline.execute(['scrapy','crawl','douban...

    一、报错

    报错的界面截图:

    在这里插入图片描述

    报错解析:该报错是找不到配置文件,无法执行douban 项目。可能原因如下:

    1. 路径不对:没有切换路径到douban 项目下或没有把douban 文件夹添加到一个sys路径;
    2. 少了配置文件scrapy.cfg
    3. 待补充……

     

    二、解决方法

    第1点报错是比较常见的,有两种解决方法:

    1. 在终端切换路径,具体切换方式,可以查看前面发的一篇文章:https://blog.csdn.net/qq_45476428/article/details/108707622
    2. 在main.py 文件中使用代码切换路径,参考以下代码:
      from scrapy import cmdline
      import os
      dirpath=os.path.dirname(os.path.abspath(__file__))
      # 获取当前路径
      
      os.chdir(dirpath)         # 切换到当前目录
      
      cmdline.execute(['scrapy','crawl','douban'])
      # 项目不同,把douban改为你项目的名字

       

    3. 调用os和sys把douban 的路径添加到路径中;
      from scrapy import cmdline
      import os
      dirpath=os.path.dirname(os.path.abspath(__file__))
      # 获取当前路径
      
      sys.path.append(dirpath) # 把当前的路径添加进sys路径中
      
      cmdline.execute(['scrapy','crawl','douban'])
      # 项目不同,把douban改为你项目的名字
       

    第2点一般是误删了,打开一个记事本,然后复制以下代码(注意改一下项目名称)

    # Automatically created by: scrapy startproject
    #
    # For more information about the [deploy] section see:
    # https://scrapyd.readthedocs.io/en/latest/deploy.html
    
    [settings]
    default = douban.settings    # 修改douban为你的项目名字
    
    [deploy]
    #url = http://localhost:6800/
    project = douban             # 修改douban为你的项目名字

     

    三、还有一些经验总结

    一个建议:在vscode 运行项目的时候,尽量打开项目的文件夹(像我这个的douban 文件夹)进行测试,这样子就不用切换路径了,直接运行不会报错。

     

    PS:发现一个有趣的现象,使用pycharm 编辑器运行main.py 文件的时候,可以运行的时候,会在sys.path 自动加上运行的路径,所以不管是打开哪一个文件夹,直接打开main.py 文件运行即可。

     

    记住运行的正确姿势:

    cmd / 终端:先切换路径,然后再运行;

    vscode:打开项目来运行 或 调用os和sys进行切换路径;

    pycharm:自动添加,直接运行。

     

     

    -End-

    展开全文
  • 解决Scrapy报错: Unknown Command 'crawl'问题描述:报错:原因分析:解决方案: 问题描述: 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行,出现报错’...

    问题描述:

    编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行,出现报错’unknow command: crawl’ 。

    在vs code中创建main.py运行douban

    from scrapy import cmdline
    cmdline.execute(['scrapy','crawl','douban'])
    

    在这里插入图片描述

    在终端cmd运行
    在这里插入图片描述


    原因分析:

    在vs code创建的main.py的成功运行的条件需要把vs code的工作区设置为scrapy项目(douban)的根目录


    解决方案:

    通过vs code自带的集成终端打开scrapy项目(douban)的根目录,并输入命令 scrapy crawl douban,按下回车运行即可。
    在这里插入图片描述
    在这里插入图片描述


    还有一种直接加入一段切换工作区路径代码的方法

    from scrapy import cmdline
    import os
    os.chdir(os.path.dirname(os.path.abspath(__ file__)))
    cmdline.execute([‘scrapy’,‘crawl’,‘douban’])

    这里作为引用
    具体过程和注释在
    scrapy:Unknown command: crawl 的3种解决方法



    以上都是论坛里已有的解决方法,亲测有效。
    希望能帮助到大家。

    展开全文
  • 问题解决:Scrapy Unknown command: crawl

    千次阅读 2020-04-02 20:02:55
    今天用pycharm调试新建的scrapy-redis项目报错: Connected to pydev debugger (build 183.4588.64) ...Unknown command: crawl Use "scrapy" to see available commands 我没有用scrapy crawl xxx的...

    今天用pycharm调试新建的scrapy-redis项目报错:

    Connected to pydev debugger (build 183.4588.64)
    Scrapy 1.8.0 - no active project
    
    Unknown command: crawl
    
    Use "scrapy" to see available commands
    

    我没有用scrapy crawl xxx的形式运行scrapy,而是写了个启动脚本运行:

    main.py:

    from scrapy.cmdline import execute
    import sys
    import os
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(["scrapy","crawl","douban_redis"])
    

    看了一下别人的错误报告,基本都是因为没有使用scrapy startproject xxx创建scrapy项目而导致的缺少scrapy.cfg文件,而我的项目是存在scrapy.cfg文件的。

    我的目录结构:
    在这里插入图片描述

    于是考虑到可能是我的启动脚本有问题。可是我main.py在别的项目里是可以的,证明代码部分不存在问题。

    于是考虑到可能是启动脚本的启动环境有问题,点击编辑配置在这里插入图片描述

    感觉到可能是Working directory的问题。
    在这里插入图片描述

    看了一下正常项目的Working directory
    在这里插入图片描述

    果然,错误原因是运行脚本的启动环境设置错误。

    展开全文
  • Unknown command: crawl

    千次阅读 2019-01-08 10:37:00
    1.使用命令行方式cmd,是因为没有cd到项目的根目录,crawl会去搜索cmd目录下的scrapy.cfg文件。 官方文档中也进行了说明:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/commands.html 2.使用的PyC...
  • Unknown command:crawl 报错 在vscode中的处理办法

    万次阅读 热门讨论 2019-03-15 11:23:01
    我的scrapy项目在cmd可以正确运行,但是在我编写好的用于运行的main.py文件里运行却会报错,报错内容是“unknown command crawl”。 排除的原因:main.py文件位置错误,scrapy.cfg文件位置错误或缺失或内容错误,爬虫...
  • scrapy安装路径为D:\Python soft,已经将D:\Python soft和D:\Python soft\Scripts加入到环境变量中... 若在D:\Python soft\Scripts目录下运行scrapy crawl domz,结果出错:unknown command crawl。请问怎么解决?多谢
  • 1、在cmd中输入scrapy crawl mySpider 提示如下 D:\python_crawl\crawl_software>scrapy crawl mySpider ...Unknown command: crawl Use "scrapy" to see available commands 原因: 没有...
  • 出现这个问题,很大原因是爬虫没有在项目文件夹里运行,因为scrapy 这个爬虫框架封装好的一些命令,必须在框架内环境支持下才能运行 另外在环境目录下,还有很多命令,也必须在此路径环境下才能执行 可以通过...
  • 参考:Unknown command: crawl(爬虫框架Scrapy遇到的常见错误) 我自己的解决过程:cmd下的路径设置为D:\lagua\study\coding\pythonPractice\mingyan 这里需要注意:开始使用strat startproject D:\lagua\study\...
  • 在cmd中输入scrapy crawl mySpider 提示如下: 原因是因为: 没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg 解决方法: 在scrapy.cfg的路径下打开cmd,运行爬虫即可 ...
  • 前言序锦 ...当我们在cmd中或者PyCharm中使用Terminal输入scrapy crawl lieping(lieping是我项目里的爬虫的名字,name = “lieping”,爬取猎聘网的职位信息),总会报如下的错误: E:\Study\Python...
  • 如上图所示 ,在scrapy练习中,使用Scrapy crawl *** 会报错 其原因就是:没有切换到根目录下执行命令 继续cd到相应的根目录 转载于:https://my.oschina.net/u/3711222/blog/1553601
  • Unknown command: crawl Use "scrapy" to see available commands 解决办法: (1)在cmd命令窗口运行未出错,pycharm运行地址错误。 pycharm未进入项目地址。使用 cd XX 进入即可。 (2)...
  • 在运行别人的scrapy项目时,使用命令行 scrapy crawl douban(douban是该项目里爬虫的名字,烂大街的小项目---抓取豆瓣电影)。  执行之后,出现报错如下:    上网搜寻无果。  大多数是说路径不对,需要...
  • Windows cmd 窗口执行爬虫任务指令,提示如下错误信息: 错误的原因:误删了Scrapy 项目下的scrapy.cfg的文件,导致上面错误情况的发生。
  • 应该在有scrapy.cfg的文件下运行cmd scrapy crawl quotes
  • Unknown command: crawl Use "scrapy" to see available commands 原因是没有切换到要crawl的项目目录下:比如 C:\Users\Administrator\PycharmProjects>scrapy crawl douban 是错误的! 得进入到douban项目...
  • 在终端使用cd进入指定的爬虫文件目录下运行:scrapy crawl xxx
  • crawl 是我们调试运行python爬虫的命令 在终端命令中,我们输入 scrapy crawl ...Unknown command: crawl Use "scrapy" to see available commands 出现这个错误的原因是: Pycharm的工作目录设...
  • 一、报错 报错的界面截图: 报错解析:该报错是找不到配置文件,无法执行douban 项目。可能原因如下: 路径不对:没有切换路径到douban 项目下或没有把douban 文件夹添加到一个sys路径;... 少了配置文件scrapy....
  • Scrapy框架(1.2.0)并没有直接周期性爬取的命令,而且如果配置不当,会导致Unknown command: crawl的报错,配置周期执行并不简单,因此这篇博客解决这个问题,一劳永逸。 思路是:调用linux的定时任务定时执行一个...

空空如也

空空如也

1 2 3 4 5 ... 15
收藏数 296
精华内容 118
关键字:

commandcrawlunknown