在阿里云的Linux上安装了docker镜像,然后在docker镜像中运行爬虫项目

首先要有项目.

然后将项目文件放入docker镜像中

然后就运行.
问题一:docker镜像中的Python没有requests第三方库
—>我就pip install  requests

结果又遇到没有 pip  install

—>然后就看怎么能装上pip  install

在docker环境中先输入wget --no-check-certificate https://bootstrap.pypa.io/get-pip.py

下载完成之后输入python3 get-pip.py(这一步稍微费点时间,网不好会报错)

我的docker镜像中Python的命令是Python3

这样pip install 就能用了

然后就pip install requests
问题二:怎么将项目放到docker镜像中
—>查看容器ID

docker ps -aqf "name=centos8python3"

—>将文件从宿主机复制到容器中的指定路径下docker cp /root/cloudmusic/cloudmusic.py centos8python3:/root/cloudmusic/

结果出现了这种结果:no such directory

意思就是没有这个路径

这里是我的问题,忘创建文件了.

因为第一次做的时候已经创建过了,第二次再做的时候给忘了.

—>创建cloudmusic_spider文件夹和Python.txt(保存爬虫项目运行结果)

mkdir cloudmusic_spider

touch python.txt

---->重新复制

依然报错no such directory

这里是我的命令写错了,应该是复制到cloudmusic_spider但是我是cloudmusic因为tab补全不是显示的docker镜像中的路径

—>复制成功
启动项目
又缺少lxml第三方库

pip install lxml

—>运行项目

结果直接在我的黑窗口显示乱码结果

因为我的命令python3 cloudmusic.py

因此重新修改命令python3 cloudmusic.py > /root/cloudmusic_spider/python.txt

运行成功!

舒服了啊!
后续
爬成功之后
爬了三个小时,爬完了,在Linux上vim cloudmusic.txt感觉不是很好…全是乱码

这样我就有两个思路

在Linux系统下修改文件编码格式
先复制到Windows系统中再看情况

为了稳妥,我先拿出来

把文件复制到Windows下
先从镜像中提出来

docker cp centos8python3:/root/cloudmusic_spider/cloudmusic.txt /root/cloudmusic/

命令在宿主机窗口下输入!

然后就是下载到本地了

然后打开,一切正常.因此可以看出在Linux下仅仅是因为编码的问题.
在Linux中修改文件编码
在宿主机中也显示正常

那就是在镜像中的编码有问题(系统编码的问题)

–>修改镜像中的系统编码

docker exec -it centos8python3 /bin/bash

然后试图给镜像添加utf8编码

找到了一个localedef的命令

这个可以加载utf8的字符集,但是还没学会怎么用

这个坑日后再填.

留个连接http://blog.chinaunix.net/uid-23842323-id-2656507.html

启动爬虫
在上一节中，我们已经创建好了我们的scrapy项目，看着这一大堆文件，想必很多人都会一脸懵逼，我们应该怎么启动这个爬虫呢？
既然我们采用cmd命令创建了scrapy爬虫，那就得有始有终有逼格，我们仍然采用程序员的正统方式——cmd的方式运行它
scrapy crawl jobbole
当我们在cmd中输入这条命令后，我们的爬虫也就开始运行了。但是如果每次都需要这样才能启动，不仅费时费力，也难以在IDE中调试程序。面对这种情况，我们可以采取使用python来实现自动命令行的启动。好吧，真香！
于是我们在我们的项目中创建一个main.py文件
编写以下代码
# Author    :Albert Shen
# -*- coding: utf-8 -*-
from scrapy.cmdline import execute
import sys
import os
if __name__ == '__main__':
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])
运行main.py，我们就会发现，scrapy成功开始运行，并将运行结果输出到了console窗口，此时我们也就可以充分利用IDE的优势，进行便捷的调试与运行。
初尝爬虫
既然我们的爬虫已经可以运行了，那么应该如何编写逻辑才能爬取到我们想要的数据呢？
首先我们打一个断点
此时大家注意response对象的text变量，看起来是否很像网页的html代码。为了确认这个猜测是否正确，我们可以将text变量的值复制出来，拷贝到一个html文件中，打开发现确实是目标网页的html源代码。
这是因为当程序开始运行，scrapy获取网页数据后，调用了此文件中的parse函数，同时将获取到的数据传递给了resposne参数。这正是scrapy框架的强大之处，将前面一系列与目标网页相关的操作进行了封装，我们只需要关心怎么从网页源代码中获得想要的信息即可，所以我们后续的操作将主要围绕这response参数来进行。
如果大家尝试一些其他网页，可能会出现获得的网页与我们想要的网页不同的情况，这多是因为目标网页需要登录验证或采取了反爬虫策略，这一部分我们将在后续的文章中涉及。
xpath
既然我们已经获得了网页的源代码，那么我们应该怎么解析数据呢？可能细心的读者会注意到response.text的值是一个字符串，那么采用正则表达式不失为一种可靠的方式。但是作为一个成熟的爬虫框架，scrapy为我们提供了一种更加简便准确的方式——xpath。将我们的jobbole.py文件修改为这样
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']
def parse(self, response):
articles = response.xpath('//a[@class="archive-title"]/text()').extract()
print(articles)
pass
运行程序，打断点调试，我们发现，articles变量是一个list，包含20个字符串，正好就是目标网页的20篇文章的标题。通过一行即能实现精确的目标数据提取，正是依靠xpath。
在学习xpath之前，读者最好能对前端，尤其是HTML语言有一定了解，至少需要知道一些基本的概念。
HTML语言是一种超级文本标记语言，与后端的C,java,python等不同，HTML不是编程语言，而是标记语言，是通过一系列标签来描述网页。如果对此没有概念的读者可以简单的将其理解为HTML语言是通过一句句话告诉浏览器，首先我在这要放一段文字，然后要在这那一张图片等等，类似于画图。
HTML标记标签通常被称为HTML标签。是由尖括号<>包围的关键字，如，
等。标签之间的部分被称为元素，同时每个标签也有属性，例如
This is a link
其中标签表示这是一个链接，This is a link 是显示给阅读者的字符，href是它的一个属性，表示目标网址是http://www.w3school.com.cn。真实的显示效果如下图所示
点击它就能跳转到目标网页。
如果想要深入的了解HTML的知识，可以在w3school上进行学习：http://www.w3school.com.cn/
xpath正是基于此的。常用的xpath语法如下图所示（来源：w3school）
举一些例子
大家如果想要深入了解xpath，也建议到w3school进行进一步学习。如果对前端实在不熟悉的读者，也可以跟着笔者这个系列的教程，相信经过一段时间的练习，也能够熟练掌握相关知识。
有了上面的知识，我们来分析一下我们是怎么得到目标网页的所有标题的呢？
在浏览器中打开目标网页http://blog.jobbole.com/all-posts/，按f12（Chrome浏览器）打开开发者工具
1.我们可以在想要查看的元素处右击，选择“检查”
2.在开发者攻击中点击2位置的图标，然后点击我们想要查看的元素
Chrome就会自动跳转到目标元素的源代码处。
受 SQLite 多年青睐，C 语言到底好在哪儿？
目标元素几个比较重要的信息为
1.这是一个 （链接）
2.目标元素包含多个属性，其中一个属性为class，值为archive-title，一个属性为href，值为点击这个标题将会跳转的目标网页的网址
3.包含一个属性为title，其值与标签之间的“元素”值相同。
articles = response.xpath('//a[@class="archive-title"]/text()').extract()
我们上述代码中的 //a[@class="archive-title"] 表示取整个文档中所有（ // 表示整个文档中的所有节点）包含class属性（中括号[]表示对前面标签的限制，如包含什么属性），且属性值为“archive-title”的a节点（标签）。
我们可以搜索网页的所有代码，就会发现所有包含 archive-title 字符串的只有20处，正好是本页所有文章的标题 标签的class属性值，也就是说我们仅凭这一句话就精确地选到了我们想要的数据。
/text()表示我们想要获得这些标签的“元素”值（即标签之间的内容，也就是会在网页上显示出来的内容），如果想要获得标签的某个属性值，如href，则可以使用如下语句
response.xpath('//a[@class="archive-title"]/@href').extract()
因为我们取的是属性，所以一定不要忘了@来表示属性，如果没有a，则会认为是目标a标签下的href标签，显然是错误的。
extract()表示获得 提取出来的数据的data变量，即我们指定的标签中的内容。如果觉得这一句难以理解，读者也可以将程序中的.extract()删除，观察结果。
彩蛋：在开发者工具中，右击源代码，我们可以选择复制目标标签的xpath。同理，由于动态网页等原因，这种方式获得的xpath可能与scrapy获得的网页不匹配。这种方式可以帮助大家更深入的理解xpath，但在后续的编程过程中，笔者还是建议大家自己进行分析。
As Albert says: 既然写程序是为了偷懒，那写程序的时候就不要偷懒了。
结语
在这一节中，我们了解了如何快捷地启动scrapy，xpath基本语法，并尝试进行了scrapy爬虫的初次尝试。在后面的章节中，我们将会对整篇网页进行解析，并采用深度优先搜索遍历jobbole的所有文章，解析数据，下载封面图等。同时我们将使用到正则表达式以分析字符串来获得我们想要的数据，由于篇幅限制，笔者将不会对正则表达式进行详细介绍，建议大家提前了解一些正则表达式的基本知识。

一般创建了scrapy文件夹后，可能需要写多个爬虫，如果想让它们同时运行而不是顺次运行的话，得怎么做？


a、在spiders目录的同级目录下创建一个commands目录，并在该目录中创建一个crawlall.py，将scrapy源代码里的commands文件夹里的crawl.py源码复制过来，只修改run()方法即可！
import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError
 
class Command(ScrapyCommand):
    requires_project = True
    def syntax(self):
        return "[options] <spider>"
    def short_desc(self):
        return "Run all spider"
    def add_options(self, parser):
        ScrapyCommand.add_options(self, parser)
        parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
                          help="set spider argument (may be repeated)")
        parser.add_option("-o", "--output", metavar="FILE",
                          help="dump scraped items into FILE (use - for stdout)")
        parser.add_option("-t", "--output-format", metavar="FORMAT",
                          help="format to use for dumping items with -o")
 
    def process_options(self, args, opts):
        ScrapyCommand.process_options(self, args, opts)
        try:
            opts.spargs = arglist_to_dict(opts.spargs)
        except ValueError:
            raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
        if opts.output:
            if opts.output == '-':
                self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
            else:
                self.settings.set('FEED_URI', opts.output, priority='cmdline')
            feed_exporters = without_none_values(
                self.settings.getwithbase('FEED_EXPORTERS'))
            valid_output_formats = feed_exporters.keys()
            if not opts.output_format:
                opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
            if opts.output_format not in valid_output_formats:
                raise UsageError("Unrecognized output format '%s', set one"
                                 " using the '-t' switch or as a file extension"
                                 " from the supported list %s" % (opts.output_format,
                                                                  tuple(valid_output_formats)))
            self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
 
    def run(self, args, opts):
        #获取爬虫列表
        spd_loader_list=self.crawler_process.spider_loader.list()#获取所有的爬虫文件。
        print(spd_loader_list)
        #遍历各爬虫
        for spname in spd_loader_list or args:
            self.crawler_process.crawl(spname, **opts.spargs)
            print ('此时启动的爬虫为：'+spname)
        self.crawler_process.start()
--------------------- 
作者：行者刘6 
来源：CSDN 
原文：https://blog.csdn.net/qq_38282706/article/details/80977576 
版权声明：本文为博主原创文章，转载请附上博文链接！

b、还得在里面加个_init_.py文件


c、到这里还没完，settings.py配置文件还需要加一条。
COMMANDS_MODULE = ‘项目名称.目录名称’
COMMANDS_MODULE = 'ds1.commands'

d、最后启动crawlall即可！
当然，安全起见，可以先在命令行中进入该项目所在目录，并输入scrapy -h,可以查看是否有命令crawlall 。如果有，那就成功了，可以启动了

我是写了个启动文件，放在第一级即可


要不直接在命令台cmd里输入 scrapy crawlall 就行了
##注意的是，爬虫好像是2个同时运行，而且运行时是交叉的？
还有settings里的文件，只针对其中一个？
原文：https://blog.csdn.net/qq_38282706/article/details/80977576

前言
对于初学者而言，案例主要的是为了让大家练手，明白其中如何这样写的思路，而不是拿着代码运行就完事了。
基本环境配置
系统：Python3
系统：Windows
相关模块： bs4、 requests
安装模块：pip 安装即可
地址：穷游网
实现代码
该案例你可能会遇到的一些问题：
①Strip()方法用于删除开始或结尾的字符。lstrip()|rstirp()分别从左右执行删除操作。默认情况下会删除空白或者换行符，也可以指定其他字符。
②如果想处理中间的空格，需要求助其他技术 ，比如replace(),或者正则表达式
③strip()和其他迭代结合，从文件中读取多行数据，使用生成器表达式
④更高阶的strip
可能需要使用translate()方法
小编推荐一个学python的学习qun 	  740,3222,34
无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！