精华内容
下载资源
问答
  • 部署python爬虫
    2020-10-28 20:25:23

    1) 首先安装docker:

    # 用 yum 安装并启动

    yum install docker -y && systemctl start docker

    2) 下载自定义镜像需要用到的基础镜像:

    # 这里以centos7为例

    docker pull centos:centos7

    3) 基础镜像已经准备好了,接下来准备好需要部署的环境服务,以及python项目:

    ### 创建 dockerfile 文件

    mkdir dockerfile && cd dockerfile

    ### 下载 python(这里以3.7为例)

    wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

    ### 将 python 项目复制到此目录

    cp ~/test.py .

    ### 以及 python 项目的依赖库

    cp ~/requirements.txt .

    4) 需要自定义docker镜像的大致内容准备好了,接下来编写dockerfile:

    vim Dockerfile

    ### 以centos:centos7来作为基础镜像

    FROM centos:centos7

    ### 下载编译需要用到的软件

    RUN yum install -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel

    ### 将dockerfile目录下的python-3.7.3.tgz复制到docker容器内

    COPY Python-3.7.3.tgz /usr/local/src

    ### 编译安装 python

    WORKDIR /usr/local/src

    RUN tar -xf Python-3.7.3.tgz

    WORKDIR Python-3.7.3

    RUN ./configure --prefix=/usr/local/python37 && make && make install

    ENV PATH /usr/local/python37/bin:$PATH

    ### 创建工作目录

    RUN mkdir /spider

    ### 将python项目复制到 /spider工作目录下

    ADD test.py /spider

    ADD requirements.txt /spider

    ### 设置 /spider 为工作目录

    WORKDIR /spider

    ### 下载 python 项目的依赖库

    RUN pip3 install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -r requirements.txt

    ### 在创建个爬取的数据存放的目录,这个需要根据自己代码里面设置的目录来创建,例如:

    VOLUME /data

    ### 最后一步,运行docker镜像时运行自己的python项目

    ### 可以多个参数: CMD ["python3","a","main.py"]

    CMD ["python3","test.py"]

    5) 接下来构建镜像:(就在此目录下运行)

    ### docker build -t 镜像名:版本号 镜像名:版本号 均为自定义 别忘了末尾的点".”

    docker build -t pythonspider:v1 .

    6) 运行镜像:

    ### 通过 docker images命令就可以看到刚刚创建的镜像

    docker images

    ### 运行

    docker run -d --name spider -v /data:/data pythonspider:v1

    ### -d为后台运行,--name 后面设置容器名,-v 是目录共享,主机目录和docker容器内目录共享。创建dockerfile的时候,有这一句 VOLUME /data 就是作为共享目录使用的,":”前的目录为主机目录,后面的目录为容器内目录。。。 最后一个参数 pythonspider:v1 镜像名

    cd /data

    ### 到此目录下你就会看到产生的数据

    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

    更多相关内容
  • 去年因项目需要,用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器,并设置定时任务,自动启动脚本。 实施步骤如下: 1.安装pip(操作系统自带了python2.6可以直接用...
  • 主要介绍了Docker部署Python爬虫项目的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • title: Docker部署Python爬虫项目Docker部署Python爬虫项目1) 首先安装docker:# 用 yum 安装并启动yum install docker -y && systemctl start docker2) 下载自定义镜像需要用到的基础镜像:# 这里以centos7...

    title: Docker部署Python爬虫项目

    Docker部署Python爬虫项目

    1) 首先安装docker:

    # 用 yum 安装并启动

    yum install docker -y && systemctl start docker

    2) 下载自定义镜像需要用到的基础镜像:

    # 这里以centos7为例

    docker pull centos:centos7

    3) 基础镜像已经准备好了,接下来准备好需要部署的环境服务,以及python项目:

    ### 创建 dockerfile 文件

    mkdir dockerfile && cd dockerfile

    ### 下载 python(这里以3.7为例)

    wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

    ### 将 python 项目复制到此目录

    cp ~/test.py .

    ### 以及 python 项目的依赖库

    cp ~/requirements.txt .

    4) 需要自定义docker镜像的大致内容准备好了,接下来编写dockerfile:

    vim Dockerfile

    ### 以centos:centos7来作为基础镜像

    FROM centos:centos7

    ### 下载编译需要用到的软件

    RUN yum install -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel

    ### 将dockerfile目录下的python-3.7.3.tgz复制到docker容器内

    COPY Python-3.7.3.tgz /usr/local/src

    ### 编译安装 python

    WORKDIR /usr/local/src

    RUN tar -xf Python-3.7.3.tgz

    WORKDIR Python-3.7.3

    RUN ./configure --prefix=/usr/local/python37 && make && make install

    ENV PATH /usr/local/python37/bin:$PATH

    ### 创建工作目录

    RUN mkdir /spider

    ### 将python项目复制到 /spider工作目录下

    ADD test.py /spider

    ADD requirements.txt /spider

    ### 设置 /spider 为工作目录

    WORKDIR /spider

    ### 下载 python 项目的依赖库

    RUN pip3 install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mi rrors.aliyun.com -r requirements.txt

    ### 在创建个爬取的数据存放的目录,这个需要根据自己代码里面设置的目录来创建,例如:

    VOLUME /data

    ### 最后一步,运行docker镜像时运行自己的python项目

    ### 可以多个参数: CMD ["python3","a","main.py"]

    CMD ["python3","test.py"]

    5) 接下来构建镜像:(就在此目录下运行)

    ### docker build -t 镜像名:版本号 镜像名:版本号 均为自定义 别忘了末尾的点“.”

    docker build -t pythonspider:v1 .

    6) 运行镜像:

    ### 通过 docker images命令就可以看到刚刚创建的镜像

    docker images

    ### 运行

    docker run -d --name spider -v /data:/data pythonspider:v1

    ### -d为后台运行,--name 后面设置容器名,-v 是目录共享,主机目录和docker容器内目录共享。创建dockerfile的时候,有这一句 VOLUME /data 就是作为共享目录使用的,“:”前的目录为主机目录,后面的目录为容器内目录。。。 最后一个参数 pythonspider:v1 镜像名

    cd /data

    ### 到此目录下你就会看到产生的数据

    展开全文
  • windows部署python爬虫定时任务

    1.打开任务计划程序

    在这里插入图片描述

    2.创建基本任务

    在这里插入图片描述

    3.填写触发器出发时间

    在这里插入图片描述
    在这里插入图片描述

    4.定义定时任务的操作为“启动程序”

    在这里插入图片描述

    5.选择启动程序

    在这里插入图片描述

    第一个填写你的脚本的绝对路径+脚本名称,

    第二个参数填写的是你的脚本的绝对路径;

    在这里插入图片描述

    6.在“当点击完成时打开任务对话框”处打勾

    在这里插入图片描述

    7,配置出选择windows10

    在这里插入图片描述

    8,如果出现报错:一个或多个参数实效,

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    找到你当前的电脑账户用户。
    在这里插入图片描述

    注意:标红地方需要特别注意,不然的话任务执行失败,定时也就failed

    展开全文
  • 这篇文章主要介绍了Docker部署Python爬虫项目的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 首先安装docker: # 用 yum ...

    这篇文章主要介绍了Docker部署Python爬虫项目的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

    1. 首先安装docker:
    # 用 yum 安装并启动
    yum install docker -y && systemctl start docker
    
    1. 下载自定义镜像需要用到的基础镜像:
    # 这里以centos7为例
    docker pull centos:centos7
    
    1. 基础镜像已经准备好了,接下来准备好需要部署的环境服务,以及python项目:
    ### 创建 dockerfile 文件
    mkdir dockerfile && cd dockerfile
    ### 下载 python(这里以3.7为例)
    wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz
    ### 将 python 项目复制到此目录
    cp ~/test.py .
    ### 以及 python 项目的依赖库
    cp ~/requirements.txt .
    
    1. 需要自定义docker镜像的大致内容准备好了,接下来编写dockerfile:
    vim Dockerfile
     
    ### 以centos:centos7来作为基础镜像
    FROM centos:centos7
    ### 下载编译需要用到的软件
    RUN yum install -y gcc gcc-c++ autoconf automake libtool make zlib* libffi-devel
    ### 将dockerfile目录下的python-3.7.3.tgz复制到docker容器内
    COPY Python-3.7.3.tgz /usr/local/src
    ### 编译安装 python
    WORKDIR /usr/local/src
    RUN tar -xf Python-3.7.3.tgz
    WORKDIR Python-3.7.3
    RUN ./configure --prefix=/usr/local/python37 && make && make install
    ENV PATH /usr/local/python37/bin:$PATH
    ### 创建工作目录
    RUN mkdir /spider
    ### 将python项目复制到 /spider工作目录下
    ADD test.py /spider
    ADD requirements.txt /spider
    ### 设置 /spider 为工作目录
    WORKDIR /spider
    ### 下载 python 项目的依赖库
    RUN pip3 install -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com -r requirements.txt
    ### 在创建个爬取的数据存放的目录,这个需要根据自己代码里面设置的目录来创建,例如:
    VOLUME /data
    ### 最后一步,运行docker镜像时运行自己的python项目
    ### 可以多个参数: CMD ["python3","a","main.py"]
    CMD ["python3","test.py"]
    
    1. 接下来构建镜像:(就在此目录下运行)
    ### 通过 docker images命令就可以看到刚刚创建的镜像
    docker images
     
    ### 运行
    docker run -d --name spider -v /data:/data pythonspider:v1
    ### -d为后台运行,--name 后面设置容器名,-v 是目录共享,主机目录和docker容器内目录共享。创建dockerfile的时候,有这一句 VOLUME /data 就是作为共享目录使用的,“:”前的目录为主机目录,后面的目录为容器内目录。。。 最后一个参数 pythonspider:v1 镜像名
     
    cd /data
    ### 到此目录下你就会看到产生的数据
    
    ### docker build -t 镜像名:版本号   镜像名:版本号 均为自定义  别忘了末尾的点“.”
    docker build -t pythonspider:v1 .
    
    1. 运行镜像:
    ### 通过 docker images命令就可以看到刚刚创建的镜像
    docker images
     
    ### 运行
    docker run -d --name spider -v /data:/data pythonspider:v1
    ### -d为后台运行,--name 后面设置容器名,-v 是目录共享,主机目录和docker容器内目录共享。创建dockerfile的时候,有这一句 VOLUME /data 就是作为共享目录使用的,“:”前的目录为主机目录,后面的目录为容器内目录。。。 最后一个参数 pythonspider:v1 镜像名
     
    cd /data
    ### 到此目录下你就会看到产生的数据
    

    非常感谢你的阅读
    大学的时候选择了自学python,工作了发现吃了计算机基础不好的亏,学历不行这是没办法的事,只能后天弥补,于是在编码之外开启了自己的逆袭之路,不断的学习python核心知识,深入的研习计算机基础知识,整理好了,我放在我们的Python学习扣qun:774711191,如果你也不甘平庸,那就与我一起在编码之外,不断成长吧!

    其实这里不仅有技术,更有那些技术之外的东西,比如,如何做一个精致的程序员,而不是“屌丝”,程序员本身就是高贵的一种存在啊,难道不是吗?点击加入,想做你自己想成为高尚人,加油!
    非常欢迎你的加入,未来的日子,编码之外,有你有我,一起做一个人不傻,钱很多,活得久的快乐的程序员

    展开全文
  • 目录Python爬虫项目安装虚拟环境使用Pycharm 进行 依赖管理项目部署(方法一)1) 首先安装docker:2) 下载自定义镜像需要用到的基础镜像:3) 基础镜像已经准备好了,接下来准备好需要部署的环境服务,以及python项目...
  • 爬虫项目部署

    2021-02-12 13:53:54
    基于scrapy技术开发完成的爬虫项目部署scrapy项目的服务器,需要在服务器上安装准备pip install scrapyd项目部署工具,需要在项目所在客户端安装【命令:scrapyd-deploy】pip install scrapyd-client(注意:以上内...
  • 58 9.04Linux云服务器部署爬虫.mp4 59 9.05scrapyd部署爬虫.mp4 60 9.06docker部署爬虫项目.mp4 61 9.07crontab.mp4 62 10.01回顾知识点.mp4 63 10.02MongoDB的基本操作.mp4 64 10.03总结mongodb.mp4 65 ...
  • Python基础知识系列:Pythonj基础知识学习与提升Python网络爬虫系列:Python爬虫之Selenium+Phantomjs+CasperJSPython数据分析系列:知识图谱、web数据挖掘及NLP它们都是基于Windows系统下的Python编程,每个系列都...
  • docker通过centos7镜像部署Python爬虫环境 云主机配置:centos7.0 安装docker,在docker中以centos7镜像创建容器(套娃行为) 云主机配置docker: 1、查看linux发行版,内核 [root@docker~]# cat /etc/redhat-...
  • python爬虫用mongodb的原因: 1、文档结构的存储方式 简单讲就是可以直接存json,list 2、不要事先定义”表”,随时可以创建 3、“表”中的数据长度可以不一样 也就是第一条记录有10个值,第二条记录不要规定也要10个...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,629
精华内容 7,451
关键字:

部署python爬虫