-
scrapy的unknown command crawl错误
2015-08-30 02:40:51scrapy安装路径为D:\Python soft,已经将D:\Python soft和D:\Python soft\Scripts加入到环境变量中... 若在D:\Python soft\Scripts目录下运行scrapy crawl domz,结果出错:unknown command crawl。请问怎么解决?多谢 -
scarpy中crawl Unknown command:报错解决办法
2018-01-27 12:03:231.写scrapy遇到crawlUnknown command:错误: 2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件 3.注意把文件中的default和project改成自己的工程名 4.加完scrapy.cfg文件后,在运行之后...1.写scrapy遇到crawlUnknown command:错误:
2,问题出在scrapy.cfg文件丢失,所以在工程文件下放一个scrapy.cfg文件
3.注意把文件中的default和project改成自己的工程名
4.加完scrapy.cfg文件后,在运行之后就可以了 -
scarpy中crawl Unknown command
2020-04-27 10:50:31 -
Unknown command: crawl
2020-04-03 14:34:04Unknown command: crawl Use "scrapy" to see available commands 解决方法: 1、创建 scrapy 项目,并进入项目 scrapy startproject tutorial cd tutorial 2、在项目根目录下的 tutorial/spiders/ 下新建...在执行 scrapy 时,报如下错误:
Unknown command: crawl Use "scrapy" to see available commands
解决方法:
1、创建 scrapy 项目,并进入项目
scrapy startproject tutorial cd tutorial
2、在项目根目录下的 tutorial/spiders/ 下新建爬虫文件 quotes_spider.py
vi quotes_spider.py import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" def start_requests(self): urls = [ 'http://quotes.toscrape.com/page/1/', 'http://quotes.toscrape.com/page/2/', ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): page = response.url.split("/")[-2] filename = 'quotes-%s.html' % page with open(filename, 'wb') as f: f.write(response.body) self.log('Saved file %s' % filename)
3、返回到项目根目录,执行如下代码,能够成功执行爬虫程序
scrapy crawl quotes
-
问题解决:Scrapy Unknown command: crawl
2020-04-02 20:02:55今天用pycharm调试新建的scrapy-redis项目报错: Connected to pydev debugger (build 183.4588.64) ...Unknown command: crawl Use "scrapy" to see available commands 我没有用scrapy crawl xxx的...今天用pycharm调试新建的scrapy-redis项目报错:
Connected to pydev debugger (build 183.4588.64) Scrapy 1.8.0 - no active project Unknown command: crawl Use "scrapy" to see available commands
我没有用
scrapy crawl xxx
的形式运行scrapy,而是写了个启动脚本运行:main.py:
from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy","crawl","douban_redis"])
看了一下别人的错误报告,基本都是因为没有使用
scrapy startproject xxx
创建scrapy项目而导致的缺少scrapy.cfg
文件,而我的项目是存在scrapy.cfg
文件的。我的目录结构:
于是考虑到可能是我的启动脚本有问题。可是我
main.py
在别的项目里是可以的,证明代码部分不存在问题。于是考虑到可能是启动脚本的启动环境有问题,点击编辑配置
感觉到可能是
Working directory
的问题。
看了一下正常项目的
Working directory
:
果然,错误原因是运行脚本的启动环境设置错误。
-
解决Scrapy报错: Unknown Command ‘crawl
2020-12-05 08:27:07解决Scrapy报错: Unknown Command 'crawl'问题描述:报错:原因分析:解决方案: 问题描述: 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行,出现报错’... -
scrapy遇到的常见错误-Unknown command: crawl
2018-10-29 16:41:231、在cmd中输入scrapy crawl mySpider 提示如下 D:\python_crawl\crawl_software>scrapy crawl mySpider ...Unknown command: crawl Use "scrapy" to see available commands 原因: 没有... -
Unknown command:crawl 报错 在vscode中的处理办法
2019-03-15 11:23:01我的scrapy项目在cmd可以正确运行,但是在我编写好的用于运行的main.py文件里运行却会报错,报错内容是“unknown command crawl”。 排除的原因:main.py文件位置错误,scrapy.cfg文件位置错误或缺失或内容错误,爬虫... -
爬虫问题之Unknown command: crawl
2019-09-24 11:24:09出现这个问题,很大原因是爬虫没有在项目文件夹里运行,因为scrapy 这个爬虫框架封装好的一些命令,必须在框架内环境支持下才能运行 另外在环境目录下,还有很多命令,也必须在此路径环境下才能执行 可以通过... -
python 使用scrapy框架时--命令行出现no command crawl
2019-04-29 08:40:03参考:Unknown command: crawl(爬虫框架Scrapy遇到的常见错误) 我自己的解决过程:cmd下的路径设置为D:\lagua\study\coding\pythonPractice\mingyan 这里需要注意:开始使用strat startproject D:\lagua\study\... -
解锁scrapy报错:Unknown command: crawl
2020-09-21 21:19:43一、报错 报错的界面截图: 报错解析:该报错是找不到配置文件,无法执行douban 项目。可能原因如下: 路径不对:没有切换路径到douban 项目下或没有把douban 文件夹添加到一个sys路径;... 少了配置文件scrapy.... -
scrapy 出现Unknown command: crawl Use "scrapy" to see available commands错误
2019-10-29 17:34:12Unknown command: crawl Use "scrapy" to see available commands 原因是没有切换到要crawl的项目目录下:比如 C:\Users\Administrator\PycharmProjects>scrapy crawl douban 是错误的! 得进入到douban项目... -
Scrapy错误-no active project Unknown command: crawl
2020-07-05 10:15:27在运行别人的scrapy项目时,使用命令行 scrapy crawl douban(douban是该项目里爬虫的名字,烂大街的小项目---抓取豆瓣电影)。 执行之后,出现报错如下: 上网搜寻无果。 大多数是说路径不对,需要... -
Scrapy周期性爬取(解决Unknown command: crawl报错)
2019-05-14 13:50:25Scrapy框架(1.2.0)并没有直接周期性爬取的命令,而且如果配置不当,会导致Unknown command: crawl的报错,配置周期执行并不简单,因此这篇博客解决这个问题,一劳永逸。 思路是:调用linux的定时任务定时执行一个... -
Scrapy遇到的常见错误-Unknown command: crawl
2018-11-05 21:01:01在cmd中输入scrapy crawl mySpider 提示如下: 原因是因为: 没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg 解决方法: 在scrapy.cfg的路径下打开cmd,运行爬虫即可 ... -
scrapy:Unknown command: crawl 的3种解决方法
2020-09-21 21:19:16from scrapy import cmdline import os dirpath=os.path.dirname(os.path.abspath(__file__)) # 获取当前路径 sys.path.append(dirpath) # 把当前的路径添加进sys路径中 cmdline.execute(['scrapy','crawl','douban... -
cmd:scrapy 中出现Unknown command: crawl问题
2017-10-19 22:13:00如上图所示 ,在scrapy练习中,使用Scrapy crawl *** 会报错 其原因就是:没有切换到根目录下执行命令 继续cd到相应的根目录 转载于:https://my.oschina.net/u/3711222/blog/1553601 -
Scrapy在pycharm中运行遇到Unknown command: crawl Use "scrapy" to see available commands
2020-03-08 19:08:44Unknown command: crawl Use "scrapy" to see available commands 解决办法: (1)在cmd命令窗口运行未出错,pycharm运行地址错误。 pycharm未进入项目地址。使用 cd XX 进入即可。 (2)...
收藏数
75
精华内容
30