1.写scrapy遇到crawlUnknown command:错误：



2，问题出在scrapy.cfg文件丢失，所以在工程文件下放一个scrapy.cfg文件

3.注意把文件中的default和project改成自己的工程名



4.加完scrapy.cfg文件后，在运行之后就可以了

应该在有scrapy.cfg的文件下运行cmd

scrapy crawl quotes

在执行 scrapy 时，报如下错误：

Unknown command: crawl
 
Use "scrapy" to see available commands

解决方法：

1、创建 scrapy 项目，并进入项目

scrapy startproject tutorial
cd tutorial

2、在项目根目录下的 tutorial/spiders/ 下新建爬虫文件 quotes_spider.py

vi quotes_spider.py
 
import scrapy
 
 
class QuotesSpider(scrapy.Spider):
    name = "quotes"
 
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
 
    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

3、返回到项目根目录，执行如下代码，能够成功执行爬虫程序

scrapy crawl quotes

 

今天用pycharm调试新建的scrapy-redis项目报错：
Connected to pydev debugger (build 183.4588.64)
Scrapy 1.8.0 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

我没有用scrapy crawl xxx的形式运行scrapy，而是写了个启动脚本运行：
main.py：
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","douban_redis"])


看了一下别人的错误报告，基本都是因为没有使用scrapy startproject xxx创建scrapy项目而导致的缺少scrapy.cfg文件，而我的项目是存在scrapy.cfg文件的。
我的目录结构：


于是考虑到可能是我的启动脚本有问题。可是我main.py在别的项目里是可以的，证明代码部分不存在问题。
于是考虑到可能是启动脚本的启动环境有问题，点击编辑配置
感觉到可能是Working directory的问题。


看了一下正常项目的Working directory：


果然，错误原因是运行脚本的启动环境设置错误。