精华内容
下载资源
问答
  • 1.用wget下载多个文件: 用wget下载,由于限制,用wget命令一次只能下载一条链接。 如果你想要下载多条链接,一条一条的下载太慢了。可以把目标链接放到一个.txt文件里面,一行放一条链接。 要在wget 后面接上-i 再...

    1.用wget下载多个文件:

    用wget下载,由于限制,用wget命令一次只能下载一条链接。
    如果你想要下载多条链接,一条一条的下载太慢了。可以把目标链接放到一个.txt文件里面,一行放一条链接。
    要在wget 后面接上-i 再接上 .txt文件的路径。
    有时候网络不好,会导致下载终端,可以加上-c,等到网络好的时候,它可以自动以原来的下载进度,继续下载。
    例如下面的命令:

    wget -ci download.txt
    

    2.axel多线程下载(多线程超级快):

    axel多线程下载,真的很快。是普通下载的几倍甚至十几倍,当然,下载速度也和你的网速有一定关系。它也支持多个文件在多个终端同时下载。如果下载过程中下载中断可以再执行下载命令即可恢复上次的下载进度。

    1.安装axel:

    apt-get install axel
    

    2.语法:

    axel [options] url1 [url2] [url…]
    选项
    –max-speed=x , -s x 最高速度x
    –num-connections=x , -n x 连接数x
    –output=f , -o f 下载为本地文件f
    –search[=x] , -S [x] 搜索镜像
    –header=x , -H x 添加头文件字符串x(指定 HTTP header)
    –user-agent=x , -U x 设置用户代理(指定 HTTP user agent)
    –no-proxy , -N 不使用代理服务器
    –quiet , -q 静默模式
    –verbose ,-v 更多状态信息
    –alternate , -a Alternate progress indicator
    –help ,-h 帮助
    –version ,-V 版本信息

    实例:
    如下载lnmp安装包指定10个线程,存到/tmp/:

    axel -n 10 -o /tmp/ https://openslr.magicdatatech.com/resources/12/train-other-500.tar.gz
    

    axel + -n + 线程数 + 链接
    实例:

    axel -n 100 https://openslr.magicdatatech.com/resources/12/train-other-500.tar.gz
    

    -s可以设置最高下载速度。

    3.axel支持同时用多个终端下载
    就是说你可以同时在一个终端下载一个文件,在另一个终端下载另一个文件。而wget却不行。对比之下,用axel还是很方便的,尤其是要下载多个文件。

    4.按ctrl+c停止下载

    在这里插入图片描述在这里插入图片描述

    展开全文
  • (1)本质核心是进程里执行os.system(“wget filename”),开17个进程的进程池意味着同时在下载17个文件。 (2)将指令全部放列表needgfsfile里面。 import datetime import multiprocessing import os def ...

    (1)本质核心是多进程里执行os.system(“wget filename”),开17个进程的进程池意味着同时在下载17个文件。
    (2)将指令全部放列表needgfsfile里面。

    import datetime
    import multiprocessing
    import os
    def downloadgfs(filename):
        os.system(filename)
    start_hour = 12
    yesterday = (datetime.datetime.now() - datetime.timedelta(days=1)).replace(hour=start_hour, microsecond=0)
    ymdstr = f"{str(yesterday.year).zfill(4)}{str(yesterday.month).zfill(2)}{str(yesterday.day).zfill(2)}{str(start_hour).zfill(2)}"
    if not os.path.exists(ymdstr):
        os.mkdir(ymdstr)
    needgfsfile = [
        f"wget ftp://ftpprd.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/gfs.{ymdstr[:-2]}/{ymdstr[-2:]}/atmos/gfs.t{ymdstr[-2:]}z.pgrb2.0p50.f{str(i * 24).zfill(3)} -P {ymdstr}/"
        for i in range(17)]
    p = multiprocessing.Pool(processes=17)  # 进to程池
    _ = [p.apply_async(func=downloadgfs, args=(i,)) for i in needgfsfile]
    p.close()
    p.join()
    
    展开全文
  • wget下载文件

    2021-05-10 20:21:32
    一、下载目录#wget -r -np -nd http://example.com/packages/这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。二、下载...

    一、下载目录

    #wget -r -np -nd http://example.com/packages/

    这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np

    的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

    二、下载指定扩展名文件

    #wget -r -np -nd --accept=iso

    http://example.com/centos-5/i386/

    与上一条命令相似,但多加了一个 --accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso

    的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

    三、批量下载

    #wget -i filename.txt

    此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget

    就会自动为你下载所有文件了。

    四、下载单个文件

    #wget -c http://example.com/really-big-file.iso

    这里所指定的 -c 选项的作用为断点续传。

    五、以镜像方式下载整个网站

    #wget -m -k (-H) http://www.example.com/

    该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。

    六、指定下载目录

    -b wget启动后立即转到后台,如果没有用-o指定outputfile的话,输出被重定向到wget-log中

    -e command 指定需要执行的命令

    -o logfile 所有的信息都输出到logfile中,没有指定的默认输出到stderr

    -a logfile 将输出日志追加到logfile中

    -q 关闭wget的输出

    -v 更详细的输出,默认为-v

    -nv --no-verbose 只输出error 和 basic information

    -i file 从file中读取url,如果file被指定为-,则表示从标准输入读取url

    -F 当url从文件中输入时,强制作为html文件来对待

    -B url 将url添加到相对路径的前面

    --bind-address=ADDRESS 在tcp/ip连接时,绑定在ip

    ADDRESS上,在一台主机有多个ip地址时很有用

    -t number 设定重试次数为number,设为0则表示无穷次测试

    -O file

    下载的所有文件不会自动存储为相应的文件,而是会全部追加到文件file中。如果file被指定为-,则输出到屏幕

    注:-O -k结合使用是为了更快的下载单个文件而设计的。

    -nc --no-clobber wget下载时,如果不指定-nc

    -N或者-r,对同一个文件夹下的同名文件,则会默认下载多个copy,并命名为

    file.1,file.2... 当-nc指定时,wget拒绝再一次下载同一个文件到同一个目录下面(更新的话则会下载覆盖)

    -c 断点续传

    -N 打开时间戳

    -S 打印http服务器返回的headers和ftp服务器返回的responses

    --spider 不下载页面,只是检查页面是否存在

    -T seconds

    设定网络延时为seconds秒,当与网络交互时,wget可以检查timeout,如果延时太长的话会终止操作。默认的超时时间为

    900秒,设为0则永远不会超时。

    --limit-rate=amount 限定下载速度,如--limit-rate=20k

    wget的限速是通过sleep合适的时间来达到限速的目的,在这个调整过程中需要一定的时间,所以在下载小文件的时候不要奇怪

    为什么限速没有很好的起作用呢

    -w seconds 在两次下载之间等待seconds秒,这样减轻了服务器的负载,推荐这样。-w 5m 或1h 或

    2d,分别代表分钟,小时,天

    --waitretry=seconds

    并不是每两次下载之间都等待seconds秒,只是在那些下载失败的重试之间等待(选项默认打开)。

    -Q quota 指定wget自动下载时的限额(默认为bytes,可以指定为k

    m等)注:-Q不会影响到单个文件的下载。但如果递归的下载一个页面

    时,当下载的超过quota时wget会终止

    --no-dns-cache

    关闭dns查找缓存。wget运行时默认是会缓存他从dns找到的ip地址,便于对同一host不用再与dns服务器交互。

    展开全文
  • 方法如下: wget -r -np -nH -R index.html http://url/including/files/you/want/to/download/ 各个参数的含义: -r : 遍历所有子目录 -np : 不到上一层子目录去 ...-R index.html : 不下载 index.html 文件 ...

    方法如下:

    wget -r -np -nH -R index.html http://url/including/files/you/want/to/download/
    

    各个参数的含义:

    -r : 遍历所有子目录
    -np : 不到上一层子目录去
    -nH : 不要将文件保存到主机名文件夹
    -R index.html : 不下载 index.html 文件
    
    展开全文
  • Linux下载文件命令wget的一些用法

    千次阅读 2021-01-30 17:34:30
    wget 是一从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三最常见的 TCP/IP协议下载,并可以使用 HTTP 代理。 “wget” 这名称来源于 “World Wide Web” 与 “get” 的结合。 所谓自动下载,是...
  • wget,curl 下载文件

    2021-10-05 10:43:51
    1. wget下载单个文件 wget -c https://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/hg38.fa.gz -O ../hg38.fa.gz ...2. wget下载多个文件 wget -c -r -np -nd -A '*.gz' -p https://hg..
  • 命令格式: wget [参数] [URL地址]
  • wget是linux最常用的下载命令, 通常的运用要领是: “wget 空格+要下载文件的url路径”。比方 : [linux]#wget http://www.test.com/xxxx/xxx.tar.gz其中-c参数, 支持断点续传, 下载文件时,假如不注意终止了, 能够...
  • wget还是挺强的,两条命令就可以下载页面中所有的链接了,不用你一条一条的另存了,而且还包括一些隐藏的也可以下载下来。如js文件和css文件命令如下:$wget http://wolfchina.bokee.com/$wget -i index....
  • wget 多个文件 #

    2021-07-12 08:38:53
    wget 多个文件 # 首先建立一个url.txt 然后将要下载的链接复制到里面,例如 http://qq.com/1.jpg http://qq.com/2.jpg http://qq.com/3.jpg 然后执行wget -b -i url.txt 即可。 -b表示后台wget,-i 表示从文本文件内...
  • 最近在部署zabbix agent时通过shell脚本去一键安装,但是运行脚本时提示地址后%0D 检查了执行权限,重新通过chmod赋权还是这样,单独将命令复制粘贴使用是可以的,那就不是脚本问题了。 仔细回一想好像在...
  • wget批量下载文件

    2021-07-08 23:28:09
    9、wget -i 下载多个文件 首先,保存一份下载链接文件 接着使用这个文件和参数 -i 下载 10、wget -mirror 镜像网站
  • 需要下载某个目录下面的所有文件。 命令如下 wget -c -r -np -k -L -p http://docs.openstack.org/liberty/install-guide-rdo/ 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH...
  • 如何使用Wget文件下载到特定目录

    千次阅读 2020-12-24 03:52:08
    默认情况下,wget会在运行它的当前工作目录中下载文件。在本文中,我们将展示如何在不移动到该目录的情况下将文件下载到特定目录。 例如,如果您在脚本中使用wget ,并希望自动执行应存储在不同目录中的下载,则本...
  • 原标题:在Linux命令行上下载文件的5个wget示例wget是Linux命令行实用程序,广泛用于从Linux命令行下载文件,有许多选项也可用于从远程服务器下载文件wget与浏览器窗口中的open url相同。1:使用Wget下载文件下面...
  • 我们是可以使用Wget下载google drive里的文件的,但首先你需要知道要下载文件大概是大体积。小于100MB的文件通常被认为是小文件。大于100MB的文件会被google drive认为是大文件。想要下载歌云端硬盘里文件,...
  • ```bashwget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password```下载'dir'目录下的所有gz文件-np 没有...
  • ORA-01034:ORACLE not available... ubuntu单独安装字体包 查看当前字体的命令: fc-list 文泉驿字体下载地址: http://wenq.org/wqy2/index.cgi?ZenHei#v0_8 下载到的是一deb安装包 在下载完字体以后将字体包拷 ...
  • 9、使用wget -i下载多个文件首先,保存一份下载链接文件cat>filelist.txt url1 url2 url3 url4接着使用这个文件和参数-i下载wget -i filelist.txt10、使用wget --mirror镜像网站下面的例子是下载整个网站到本地。...
  • 使用SimpleHTTPServer和wget实现服务器之间下载文件 一、启动HTTP服务器 python -m SimpleHTTPServer Serving HTTP on 0.0.0.0 port 8000 ... 二、wget下载HTTP服务器上文件 wget 10.120.66.50:8000/data-platform...
  • wget - Linux系统下载文件工具 Linux系统下载文件工具 补充说明 wget命令 用来从指定的URL下载文件wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强 的适应性,如果是由于网络的原因下载失败,wget会不断...
  • 不宜说,贴张图看看,用过的应该知道这是哪个云端硬盘: 从这云端硬盘上下载文件时,在要下载文件上右键点击,在弹出菜单中点击下载然后由浏览器去下载它,但是在Linux命令行下想使用wget下载它,...
  • 2、搭建该离线服务器的出发点:昨天由于工作需要,需要下载百来兆的文件,但是办公室大几十号人共用一条宽带,并且网络禁止迅雷等线程下载工具,下载速度奇慢无比。突然想到工作地点有一台暂时闲置的公网...
  • wget可以帮助用户下载大量数据,多个文件并进行递归下载。 它支持下载协议(HTTP,HTTPS,FTP和FTPS)。 以下文章介绍了基本的wget命令语法,并显示了wget流行用例的示例。1.1 Wget - 概述可以使用选项调用wget命令,...
  • 时候为了方便将大文件放到百度云盘中作为共享资源。在windows下和Linux桌面系统中,使用浏览器很容易下载百度云盘里的共享资源,但当我们使用Linux字符界面的时候,就会变的很麻烦。一直在找解决的方法,有人...
  • Linux 使用wget指令直接下载Google Driver的大文件
  • 前几天做了一个webservice的查询...下面就来讲讲这两个命令如何发送带多个参数的get请求。1.get请求的发送:wgetwget http://ip:port/xx/get?start_time=1548119648\&end_time=1548199000\&type=1curl:c...
  • 下面我会给出一些简单的例子:如果你想从网站上下载个文件.wget http://www.zzvips.com/foo.tar.gz有时下载到一半会丢失链接, 我可以恢复之前的下载么?wget -c http://www/jb51.net/foo.tar.gz好吧,...
  • 我们利用linux wget下载目录是基于ftp目录了,否则我们没有权限下载网站目录了,因wget命令就是去网上下载文件的工具了wget介绍wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 157,286
精华内容 62,914
关键字:

wget下载多个文件