精华内容
下载资源
问答
  • linux下载文件命令wget

    千次阅读 2016-02-22 14:07:24
    Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要...这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大

    Linux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器
    Linux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。下面我们以实例的形式说明怎么使用wget。 

    1、使用wget下载单个文件 

    以下的例子是从网络下载一个文件并保存在当前目录 

    wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 

    在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。 

    2、使用wget -O下载并以不同的文件名保存 

    wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。 
    错误:下面的例子会下载一个文件并以名称download.php?id=1080保存 

    wget http://www.centos.bz/download?id=1 
    即使下载的文件是zip格式,它仍然以download.php?id=1080命令。 
    正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名: 

    wget -O wordpress.zip http://www.centos.bz/download.php?id=1080 

    3、使用wget –limit -rate限速下载 
    当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。 

    wget –limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 

    4、使用wget -c断点续传 
    使用wget -c重新启动下载中断的文件: 

    wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 
    对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。 

    5、使用wget -b后台下载 
    对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。 

    wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 
    Continuing in background, pid 1840. 
    Output will be written to `wget-log’. 
    你可以使用以下命令来察看下载进度 

    tail -f wget-log 

    6、伪装代理名称下载 
    有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。 

    wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下载链接 

    7、使用wget –spider测试下载链接 
    当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。 

    wget –spider URL 
    如果下载链接正确,将会显示 

    wget –spider URL 
    Spider mode enabled. Check if remote file exists. 
    HTTP request sent, awaiting response… 200 OK 
    Length: unspecified [text/html] 
    Remote file exists and could contain further links, 
    but recursion is disabled — not retrieving. 
    这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误 

    wget –spider url 
    Spider mode enabled. Check if remote file exists. 
    HTTP request sent, awaiting response… 404 Not Found 
    Remote file does not exist — broken link!!! 
    你可以在以下几种情况下使用spider参数: 

    定时下载之前进行检查 
    间隔检测网站是否可用 
    检查网站页面的死链接 

    8、使用wget –tries增加重试次数 
    如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。 

    wget –tries=40 URL 

    9、使用wget -i下载多个文件 
    首先,保存一份下载链接文件 

    cat > filelist.txt 
    url1 
    url2 
    url3 
    url4 
    接着使用这个文件和参数-i下载 

    wget -i filelist.txt 

    10、使用wget –mirror镜像网站 
    下面的例子是下载整个网站到本地。 

    wget –mirror -p –convert-links -P ./LOCAL URL 
    –miror:开户镜像下载 
    -p:下载所有为了html页面显示正常的文件 
    –convert-links:下载后,转换成本地的链接 
    -P ./LOCAL:保存所有文件和目录到本地指定目录 

    11、使用wget –reject过滤指定格式下载 
    你想下载一个网站,但你不希望下载图片,你可以使用以下命令。 

    wget –reject=gif url 

    12、使用wget -o把下载信息存入日志文件 
    你不希望下载信息直接显示在终端而是在一个日志文件,可以使用以下命令: 

    wget -o download.log URL 

    13、使用wget -Q限制总下载文件大小 
    当你想要下载的文件超过5M而退出下载,你可以使用以下命令: 

    wget -Q5m -i filelist.txt 
    注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。 

    14、使用wget -r -A下载指定格式文件 
    可以在以下情况使用该功能 

    下载一个网站的所有图片 
    下载一个网站的所有视频 
    下载一个网站的所有PDF文件 
    wget -r -A.pdf url 

    15、使用wget FTP下载 
    你可以使用wget来完成ftp链接的下载。 
    使用wget匿名ftp下载 

    wget ftp-url 

    使用wget用户名和密码认证的ftp下载 

    wget –ftp-user=USERNAME –ftp-password=PASSWORD url

    wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。它有以下功能和特点: 

    (1)支持断点下传功能;这一点,也是网络蚂蚁和FlashGet当年最大的卖点,现在,Wget也可以使用此功能,那些网络不是太好的用户可以放心了; 
    (2)同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件; 
    (3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能; 
    (4)设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标; 
    (5)程序小,完全免费;程序小可以考虑不计,因为现在的硬盘实在太大了;完全免费就不得不考虑了,即使网络上有很多所谓的免费软件,但是,这些软件的广告却不是我们喜欢的; 

    wget虽然功能强大,但是使用起来还是比较简单的,基本的语法是:wget [参数列表] URL。下面就结合具体的例子来说明一下wget的用法。 

    1、下载整个http或者ftp站点。 
    wget http://place.your.url/here 
    这个命令可以将http://place.your.url/here 首页下载下来。使用-x会强制建立服务器上一模一样的目录,如果使用-nd参数,那么服务器上下载的所有内容都会加到本地当前目录。 

    wget -r http://place.your.url/here 
    这 个命令会按照递归的方法,下载服务器上所有的目录和文件,实质就是下载整个网站。这个命令一定要小心使用,因为在下载的时候,被下载网站指向的所有地址同 样会被下载,因此,如果这个网站引用了其他网站,那么被引用的网站也会被下载下来!基于这个原因,这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层,那么使用-l 2。 

    要是您想制作镜像站点,那么可以使用-m参数,例如:wget -m http://place.your.url/here 
    这时wget会自动判断合适的参数来制作镜像站点。此时,wget会登录到服务器上,读入robots.txt并按robots.txt的规定来执行。 

    2、断点续传。 
    当文件特别大或者网络特别慢的时候,往往一个文件还没有下载完,连接就已经被切断,此时就需要断点续传。wget的断点续传是自动的,只需要使用-c参数,例如: 
    wget -c http://the.url.of/incomplete/file 
    使用断点续传要求服务器支持断点续传。-t参数表示重试次数,例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。-T参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。 

    3、批量下载。 
    如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt 
    这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页) 

    4、选择性的下载。 
    可以指定让wget只下载一类文件,或者不下载什么文件。例如: 
    wget -m –reject=gif http://target.web.site/subdirectory 
    表示下载http://target.web.site/subdirectory,但是忽略gif文件。–accept=LIST 可以接受的文件类型,–reject=LIST拒绝接受的文件类型。 

    5、密码和认证。 
    wget只能处理利用用户名/密码方式限制访问的网站,可以利用两个参数: 
    –http-user=USER设置HTTP用户 
    –http-passwd=PASS设置HTTP密码 
    对于需要证书做认证的网站,就只能利用其他下载工具了,例如curl。 

    6、利用代理服务器进行下载。 
    如果用户的网络需要经过代理服务器,那么可以让wget通过代理服务器进行文件的下载。此时需要在当前用户的目录下创建一个.wgetrc文件。文件中可以设置代理服务器: 
    http-proxy = 111.111.111.111:8080 
    ftp-proxy = 111.111.111.111:8080 
    分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用: 
    –proxy-user=USER设置代理用户 
    –proxy-passwd=PASS设置代理密码 
    这两个参数。 
    使用参数–proxy=on/off 使用或者关闭代理。 
    wget还有很多有用的功能,需要用户去挖掘。 

    附录: 

    命令格式: 
    wget [参数列表] [目标软件、网页的网址] 

    -V,–version 显示软件版本号然后退出; 
    -h,–help显示软件帮助信息; 
    -e,–execute=COMMAND 执行一个 “.wgetrc”命令 

    -o,–output-file=FILE 将软件输出信息保存到文件; 
    -a,–append-output=FILE将软件输出信息追加到文件; 
    -d,–debug显示输出信息; 
    -q,–quiet 不显示输出信息; 
    -i,–input-file=FILE 从文件中取得URL; 

    -t,–tries=NUMBER 是否下载次数(0表示无穷次) 
    -O –output-document=FILE下载文件保存为别的文件名 
    -nc, –no-clobber 不要覆盖已经存在的文件 
    -N,–timestamping只下载比本地新的文件 
    -T,–timeout=SECONDS 设置超时时间 
    -Y,–proxy=on/off 关闭代理 

    -nd,–no-directories 不建立目录 
    -x,–force-directories 强制建立目录 

    –http-user=USER设置HTTP用户 
    –http-passwd=PASS设置HTTP密码 
    –proxy-user=USER设置代理用户 
    –proxy-passwd=PASS设置代理密码 

    -r,–recursive 下载整个网站、目录(小心使用) 
    -l,–level=NUMBER 下载层次 

    -A,–accept=LIST 可以接受的文件类型 
    -R,–reject=LIST拒绝接受的文件类型 
    -D,–domains=LIST可以接受的域名 
    –exclude-domains=LIST拒绝的域名 
    -L,–relative 下载关联链接 
    –follow-ftp 只下载FTP链接 
    -H,–span-hosts 可以下载外面的主机 
    -I,–include-directories=LIST允许的目录 
    -X,–exclude-directories=LIST 拒绝的目录 

    中文文档名在平常的情况下会被编码, 但是在 –cut-dirs 时又是正常的, 
    wget -r -np -nH –cut-dirs=3 ftp://host/test/ 
    测试.txt 
    wget -r -np -nH -nd ftp://host/test/ 
    %B4%FA%B8%D5.txt 
    wget “ftp://host/test/*” 
    %B4%FA%B8%D5.txt 

    由 於不知名的原因,可能是为了避开特殊档名, wget 会自动将抓取档名的部分用 encode_string 处理过, 所以该 patch 就把被 encode_string 处理成 “%3A” 这种东西, 用 decode_string 还原成 “:”,并套用在目录与档案名称的部分,decode_string 是 wget 内建的函式。 

    wget -t0 -c -nH -x -np -b -m -P /home/sunny/NOD32view/ http://downloads1.kaspersky-labs.com/bases/ -o wget.log

    展开全文
  • 1.介绍 wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议下载,并可以使用 HTTP 代理。...在linux下,可以终端输入命令$ wget --help | more查看其详细用法。 $ wge

    1.介绍

    wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议下载,并可以使用 HTTP 代理。

    “wget” 这个名称来源于 “World Wide Web” 与 “get” 的结合。

    所谓自动下载,是指 wget 可以在用户退出系统的之后在继续后台执行,直到下载任务完成。

    2.用法

    基本用法格式:

    wget [OPTION] [URL]
    

    在linux下,可以终端输入命令$ wget --help | more查看其详细用法。

    $ wget --help | more
    GNU Wget 1.19.4, a non-interactive network retriever.
    Usage: wget [OPTION]... [URL]...
    
    Mandatory arguments to long options are mandatory for short options too.
    
    Startup:
      -V,  --version                   display the version of Wget and exit
      -h,  --help                      print this help
      -b,  --background                go to background after startup
      -e,  --execute=COMMAND           execute a `.wgetrc'-style command
    
    Logging and input file:
      -o,  --output-file=FILE          log messages to FILE
      -a,  --append-output=FILE        append messages to FILE
      -d,  --debug                     print lots of debugging information
      -q,  --quiet                     quiet (no output)
      -v,  --verbose                   be verbose (this is the default)
      -nv, --no-verbose                turn off verboseness, without being quiet
           --report-speed=TYPE         output bandwidth as TYPE.  TYPE can be bits
      -i,  --input-file=FILE           download URLs found in local or external FILE
      -F,  --force-html                treat input file as HTML
      -B,  --base=URL                  resolves HTML input-file links (-i -F)
                                         relative to URL
           --config=FILE               specify config file to use
           --no-config                 do not read any config file
           --rejected-log=FILE         log reasons for URL rejection to FILE
    
    Download:
      -t,  --tries=NUMBER              set number of retries to NUMBER (0 unlimits)
           --retry-connrefused         retry even if connection is refused
      -O,  --output-document=FILE      write documents to FILE
      -nc, --no-clobber                skip downloads that would download to
                                         existing files (overwriting them)
           --no-netrc                  don't try to obtain credentials from .netrc
    

    也可以参考:
    Linux wget命令详解 wget下载工具用法详解(附实例说明)
    linux下载文件命令 wget 介绍
    Linux的wget命令详解
    这几篇文章对wget命令进行了比较详细的介绍。

    wget功能十分强大,下面简单讲几个常用的用法。

    2.1 wget下载单个文件

    从网络下载一个文件并保存在当前目录。在下载的过程中会显示进度条,包含下载完成百分比已经下载的字节当前下载速度剩余下载时间

    $ wget http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    

    2.2 wget -P下载到自定义路径

    可以将文件下载到自己指定的路径下,而不是当前路径。
    用法:

    $ wget -P PATH url
    

    比如下载到/home/myfile路径下:

    $ wget -P /home/myfile  http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    

    2.3 wget -O下载并自定义文件名保存

    wget默认会以最后一个符号”/”的后面的字符来命名下载文件,对于动态链接的下载通常文件名会不正确。

    • 错误:下面的例子会下载一个文件并以名称download.php?id=1080保存,即使下载的文件是zip格式,它仍然以download.php?id=1080命名。
    $ wget http://www.centos.bz/download?id=1 
    
    • 正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名wordpress.zip:
    $ wget -O wordpress.zip http://www.centos.bz/download.php?id=1080 
    

    2.4 wget -c断点续传

    使用wget -c重新启动下载中断的文件,对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

    $ wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    

    2.5 wget -b后台下载

    对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

    $ wget -b http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    Continuing in background, pid 1840. 
    Output will be written to `wget-log’. 
    

    可以使用以下命令来察看下载进度:

    $ tail -f wget-log
    

    2.6 wget -i下载多个文件

    当要下载的文件数量较多时,可以使用

    $ wget -i url_list.txt
    

    来批量下载多个文件。

    比如现在你有要下载三个ubuntu安装镜像文件,其url分别为:
    http://releases.ubuntu.com/20.04/ubuntu-20.04.1-desktop-amd64.iso
    http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    http://releases.ubuntu.com/16.04/ubuntu-16.04.7-desktop-amd64.iso
    现在将其分三行写入一个文本文件ubuntu_iso_url.txt
    查看有无错误:

    $ cat ubuntu_iso_url.txt
    http://releases.ubuntu.com/20.04/ubuntu-20.04.1-desktop-amd64.iso
    http://releases.ubuntu.com/18.04/ubuntu-18.04.5-desktop-amd64.iso
    http://releases.ubuntu.com/16.04/ubuntu-16.04.7-desktop-amd64.iso
    

    没有问题就命令行输入:

    $ wget -i ubuntu_iso_url.txt
    
    展开全文
  • Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要...这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大

    Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

    wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

    wget 非常稳定它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

    1.命令格式:

    wget [参数] [URL地址]

    2.命令功能:

    用于从网络上下载资源,没有指定目录,下载资源回默认为当前目录wget虽然功能强大,但是使用起来还是比较简单

    1)支持断点下传功能;这一点,也是网络蚂蚁和FlashGet当年最大的卖点,现在,Wget也可以使用此功能,那些网络不是太好的用户可以放心了;

    2)同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件;

    3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能;

    4)设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标;

    5)程序小,完全免费;程序小可以考虑不计,因为现在的硬盘实在太大了;完全免费就不得不考虑了,即使网络上有很多所谓的免费软件,但是,这些软件的广告却不是我们喜欢的

    3.命令参数:

    启动参数

    -V, –version 显示wget的版本后退出

    -h, –help 打印语法帮助

    -b, –background 启动后转入后台执行

    -e, –execute=COMMAND 执行`.wgetrc’格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc

    记录和输入文件参数

    -o, –output-file=FILE 把记录写到FILE文件中

    -a, –append-output=FILE 把记录追加到FILE文件中

    -d, –debug 打印调试输出

    -q, –quiet 安静模式(没有输出)

    -v, –verbose 冗长模式(这是缺省设置)

    -nv, –non-verbose 关掉冗长模式,但不是安静模式

    -i, –input-file=FILE 下载在FILE文件中出现的URLs

    -F, –force-html 把输入文件当作HTML格式文件对待

    -B, –base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀

    –sslcertfile=FILE 可选客户端证书

    –sslcertkey=KEYFILE 可选客户端证书的KEYFILE

    –egd-file=FILE 指定EGD socket的文件名

    下载参数

    –bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)

    -t, –tries=NUMBER 设定最大尝试链接次数(0 表示无限制).

    -O –output-document=FILE 把文档写到FILE文件中

    -nc, –no-clobber 不要覆盖存在的文件或使用.#前缀

    -c, –continue 接着下载没下载完的文件

    –progress=TYPE 设定进程条标记

    -N, –timestamping 不要重新下载文件除非比本地文件新

    -S, –server-response 打印服务器的回应

    –spider 不下载任何东西

    -T, –timeout=SECONDS 设定响应超时的秒数

    -w, –wait=SECONDS 两次尝试之间间隔SECONDS秒

    –waitretry=SECONDS 在重新链接之间等待1…SECONDS秒

    –random-wait 在下载之间等待0…2*WAIT秒

    -Y, –proxy=on/off 打开或关闭代理

    -Q, –quota=NUMBER 设置下载的容量限制

    –limit-rate=RATE 限定下载输率

    目录参数

    -nd –no-directories 不创建目录

    -x, –force-directories 强制创建目录

    -nH, –no-host-directories 不创建主机目录

    -P, –directory-prefix=PREFIX 将文件保存到目录 PREFIX/…

    –cut-dirs=NUMBER 忽略 NUMBER层远程目录

    HTTP 选项参数

    –http-user=USER 设定HTTP用户名为 USER.

    –http-passwd=PASS 设定http密码为 PASS

    -C, –cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许)

    -E, –html-extension 将所有text/html文档以.html扩展名保存

    –ignore-length 忽略 `Content-Length’头域

    –header=STRING 在headers中插入字符串 STRING

    –proxy-user=USER 设定代理的用户名为 USER

    –proxy-passwd=PASS 设定代理的密码为 PASS

    –referer=URL 在HTTP请求中包含 `Referer: URL’头

    -s, –save-headers 保存HTTP头到文件

    -U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION

    –no-http-keep-alive 关闭 HTTP活动链接 (永远链接)

    –cookies=off 不使用 cookies

    –load-cookies=FILE 在开始会话前从文件 FILE中加载cookie

    –save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中

    FTP 选项参数

    -nr, –dont-remove-listing 不移走 `.listing’文件

    -g, –glob=on/off 打开或关闭文件名的 globbing机制

    –passive-ftp 使用被动传输模式 (缺省值).

    –active-ftp 使用主动传输模式

    –retr-symlinks 在递归的时候,将链接指向文件(而不是目录)

    递归下载参数

    -r, –recursive 递归下载--慎用!

    -l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)

    –delete-after 在现在完毕后局部删除文件

    -k, –convert-links 转换非相对链接为相对链接

    -K, –backup-converted 在转换文件X之前,将之备份为 X.orig

    -m, –mirror 等价于 -r -N -l inf -nr

    -p, –page-requisites 下载显示HTML文件的所有图片

    递归下载中的包含和不包含(accept/reject)

    -A, –accept=LIST 分号分隔的被接受扩展名的列表

    -R, –reject=LIST 分号分隔的不被接受的扩展名的列表

    -D, –domains=LIST 分号分隔的被接受域的列表

    –exclude-domains=LIST 分号分隔的不被接受的域的列表

    –follow-ftp 跟踪HTML文档中的FTP链接

    –follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表

    -G, –ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表

    -H, –span-hosts 当递归时转到外部主机

    -L, –relative 仅仅跟踪相对链接

    -I, –include-directories=LIST 允许目录的列表

    -X, –exclude-directories=LIST 不被包含目录的列表

    -np, –no-parent 不要追溯到父目录

    wget -S –spider url 不下载只显示过程

    4.使用实例:

    实例1:使用wget下载单个文件

    命令:

    wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    以下的例子是从网络下载一个文件并保存在当前目录在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。

    实例2:使用wget -O下载并以不同的文件名保存

    命令:

    :wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    说明:

    wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。

    错误:下面的例子会下载一个文件并以名称download.aspx?id=1080保存

    wget http://www.minjieren.com/download?id=1

    即使下载的文件是zip格式,它仍然以download.php?id=1080命令。

    正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:

    wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    实例3:使用wget –limit -rate限速下载

    命令:

    wget --limit-rate=300k http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

    实例4:使用wget -c断点续传

    命令:

    wget -c http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    使用wget -c重新启动下载中断的文件对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

    实例5:使用wget -b后台下载

    命令:

    wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

    wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    Continuing in background, pid 1840.

    Output will be written to `wget-log'.

    你可以使用以下命令来察看下载进度

    tail -f wget-log

    实例6:伪装代理名称下载

    命令:

    wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。

    实例7:使用wget –spider测试下载链接

    命令:

    wget --spider URL

    说明:

    当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。

    wget --spider URL

    如果下载链接正确,将会显示

    wget --spider URL

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response... 200 OK

    Length: unspecified [text/html]

    Remote file exists and could contain further links,

    but recursion is disabled -- not retrieving.

    这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误

    wget --spider url

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response... 404 Not Found

    Remote file does not exist -- broken link!!!

    你可以在以下几种情况下使用spider参数:

    定时下载之前进行检查

    间隔检测网站是否可用

    检查网站页面的死链接

    实例8:使用wget –tries增加重试次数

    命令:

    wget --tries=40 URL

    说明:

    如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

    实例9:使用wget -i下载多个文件

    命令:

    wget -i filelist.txt

    说明:

    首先,保存一份下载链接文件

    cat > filelist.txt

    url1

    url2

    url3

    url4

    接着使用这个文件和参数-i下载

    实例10:使用wget –mirror镜像网站

    命令:

    wget --mirror -p --convert-links -P ./LOCAL URL

    说明:

    下载整个网站到本地

    –miror:开户镜像下载

    -p:下载所有为了html页面显示正常的文件

    –convert-links:下载后,转换成本地的链接

    -P ./LOCAL:保存所有文件和目录到本地指定目录

    实例11:使用wget –reject过滤指定格式下载

    命令:
    wget --reject=gif ur

    说明:

    下载一个网站,但你不希望下载图片,可以使用以下命令。

    实例12:使用wget -o把下载信息存入日志文件

    命令:

    wget -o download.log URL

    说明:

    不希望下载信息直接显示在终端而是在一个日志文件,可以使用

    实例13:使用wget -Q限制总下载文件大小

    命令:

    wget -Q5m -i filelist.txt

    说明:

    当你想要下载的文件超过5M而退出下载,你可以使用注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

    实例14:使用wget -r -A下载指定格式文件

    命令:

    wget -r -A.pdf url

    说明:

    可以在以下情况使用该功能

    下载一个网站的所有图片

    下载一个网站的所有视频

    下载一个网站的所有PDF文件

    实例15:使用wget FTP下载

    命令:

    wget ftp-url

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    说明:

    可以使用wget来完成ftp链接的下载。

    使用wget匿名ftp下载

    wget ftp-url

    使用wget用户名和密码认证的ftp下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    备注:编译安装

    使用如下命令编译安装: 

    # tar zxvf wget-1.9.1.tar.gz 

    # cd wget-1.9.1 

    # ./configure 

    # make 

    # make install 

    展开全文
  • linux下载命令wget

    2012-11-27 17:17:22
    一般的使用方法是: wget + 空格 + 要下载文件的url路径 例如: # wget http://www.linuxsense.org/xxxx/xxx.tar.gz 简单说一下-c参数, 这个也非常常见, 可以断点续传, 如果不小心终止了, 可以继续使用命令接着...
    linux的wget命令
    wgetlinux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径

    例如: # wget http://www.linuxsense.org/xxxx/xxx.tar.gz

    简单说一下-c参数, 这个也非常常见, 可以断点续传, 如果不小心终止了, 可以继续使用命令接着下载
    例如: # wget -c http://www.linuxsense.org/xxxx/xxx.tar.gz

    下面详细阐述wget的用法:

    wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.

    所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

    wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作"递归下载"。在递归下载的时候,wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

    wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。
    wget的常见用法

    wget的使用格式

    Usage: wget [OPTION]... [URL]...

        * 用wget做站点镜像:

    wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/
    # 或者
    wget -m http://www.tldp.org/LDP/abs/html/

        * 在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载

    wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &
    # 或者从filelist读入要下载的文件列表
    wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &

    上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在晚上要出去系统前执行上面代码的第二条。

        * 使用代理下载

    wget -Y on -p -k https://sourceforge.net/projects/wvware/

    代理可以在环境变量或wgetrc文件中设定

    # 在环境变量中设定代理
    export PROXY=http://211.90.168.94:8080/
    # 在~/.wgetrc中设定代理
    http_proxy = http://proxy.yoyodyne.com:18023/
    ftp_proxy = http://proxy.yoyodyne.com:18023/

    wget各种选项分类列表

        * 启动

    -V,  --version           显示wget的版本后退出
      -h,  --help              打印语法帮助
      -b,  --background        启动后转入后台执行
      -e,  --execute=COMMAND   执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc

        * 记录和输入文件

    -o,  --output-file=FILE     把记录写到FILE文件中
      -a,  --append-output=FILE   把记录追加到FILE文件中
      -d,  --debug                打印调试输出
      -q,  --quiet                安静模式(没有输出)
      -v,  --verbose              冗长模式(这是缺省设置)
      -nv, --non-verbose          关掉冗长模式,但不是安静模式
      -i,  --input-file=FILE      下载在FILE文件中出现的URLs
      -F,  --force-html           把输入文件当作HTML格式文件对待
      -B,  --base=URL             将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
           --sslcertfile=FILE     可选客户端证书
           --sslcertkey=KEYFILE   可选客户端证书的KEYFILE
           --egd-file=FILE        指定EGD socket的文件名

        * 下载

    --bind-address=ADDRESS   指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
      -t,  --tries=NUMBER           设定最大尝试链接次数(0 表示无限制).
      -O   --output-document=FILE   把文档写到FILE文件中
      -nc, --no-clobber             不要覆盖存在的文件或使用.#前缀
      -c,  --continue               接着下载没下载完的文件
           --progress=TYPE          设定进程条标记
      -N,  --timestamping           不要重新下载文件除非比本地文件新
      -S,  --server-response        打印服务器的回应
           --spider                 不下载任何东西
      -T,  --timeout=SECONDS        设定响应超时的秒数
      -w,  --wait=SECONDS           两次尝试之间间隔SECONDS秒
           --waitretry=SECONDS      在重新链接之间等待1...SECONDS秒
           --random-wait            在下载之间等待0...2*WAIT秒
      -Y,  --proxy=on/off           打开或关闭代理
      -Q,  --quota=NUMBER           设置下载的容量限制
           --limit-rate=RATE        限定下载输率

        * 目录

    -nd  --no-directories            不创建目录
      -x,  --force-directories         强制创建目录
      -nH, --no-host-directories       不创建主机目录
      -P,  --directory-prefix=PREFIX   将文件保存到目录 PREFIX/...
           --cut-dirs=NUMBER           忽略 NUMBER层远程目录

        * HTTP 选项

    --http-user=USER      设定HTTP用户名为 USER.
           --http-passwd=PASS    设定http密码为 PASS.
      -C,  --cache=on/off        允许/不允许服务器端的数据缓存 (一般情况下允许).
      -E,  --html-extension      将所有text/html文档以.html扩展名保存
           --ignore-length       忽略 `Content-Length'头域
           --header=STRING       在headers中插入字符串 STRING
           --proxy-user=USER     设定代理的用户名为 USER
           --proxy-passwd=PASS   设定代理的密码为 PASS
           --referer=URL         在HTTP请求中包含 `Referer: URL'头
      -s,  --save-headers        保存HTTP头到文件
      -U,  --user-agent=AGENT    设定代理的名称为 AGENT而不是 Wget/VERSION.
           --no-http-keep-alive  关闭 HTTP活动链接 (永远链接).
           --cookies=off         不使用 cookies.
           --load-cookies=FILE   在开始会话前从文件 FILE中加载cookie
           --save-cookies=FILE   在会话结束后将 cookies保存到 FILE文件中

        * FTP 选项

    -nr, --dont-remove-listing   不移走 `.listing'文件
      -g,  --glob=on/off           打开或关闭文件名的 globbing机制
           --passive-ftp           使用被动传输模式 (缺省值).
           --active-ftp            使用主动传输模式
           --retr-symlinks         在递归的时候,将链接指向文件(而不是目录)

        * 递归下载

    -r,  --recursive          递归下载--慎用!
      -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无穷).
           --delete-after       在现在完毕后局部删除文件
      -k,  --convert-links      转换非相对链接为相对链接
      -K,  --backup-converted   在转换文件X之前,将之备份为 X.orig
      -m,  --mirror             等价于 -r -N -l inf -nr.
      -p,  --page-requisites    下载显示HTML文件的所有图片

        * 递归下载中的包含和不包含(accept/reject)

    -A,  --accept=LIST                分号分隔的被接受扩展名的列表
      -R,  --reject=LIST                分号分隔的不被接受的扩展名的列表
      -D,  --domains=LIST               分号分隔的被接受域的列表
           --exclude-domains=LIST       分号分隔的不被接受的域的列表
           --follow-ftp                 跟踪HTML文档中的FTP链接
           --follow-tags=LIST           分号分隔的被跟踪的HTML标签的列表
      -G,  --ignore-tags=LIST           分号分隔的被忽略的HTML标签的列表
      -H,  --span-hosts                 当递归时转到外部主机
      -L,  --relative                   仅仅跟踪相对链接
      -I,  --include-directories=LIST   允许目录的列表
      -X,  --exclude-directories=LIST   不被包含目录的列表
      -np, --no-parent                  不要追溯到父目录
    展开全文
  • wget命令 Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或...这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执
  • Linux文件下载利器wget

    2019-08-30 14:40:50
    想要从网络上下载文件并不是非得有GUI,在文本模式下,wget命令也可以像浏览器(迅雷)一样支持文件下载wget支持http和ftp协议,支持后台执行,断点续传,代理配置,递归下载wget [选项]... [URL]... ...
  • Linux下载命令wget

    2018-11-16 23:04:24
    wgetLinux下载文件的最常用命令wget支持HTTP,HTTPS和FTP协议,支持自动下载,即可以在用户退出系统后在后台执行,直到下载结束。 用法:wget [参数] [URL] 常用参数 -o:将日志信息写入FILE;...
  • 1.不带参数下载文件 命令wget 【资源url】 如下载MySQL安装包:wgethttps://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.19-1.el7.x86_64.rpm-bundle.tar 该方式为前台下载,以最后一个斜杠之后的字符...
  • linux下载命令wget

    万次阅读 2018-04-14 19:27:30
    linux下载命令原创 2017年11月03日 14:20:0732Linux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到 本地服务器。...
  • wget是一个命令行的下载工具。对于我们这些 Linux 用户来说,几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧,...这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np的...
  • wgetLinux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径 例如: # wget http://www.linuxsense.org/xxxx/xxx.tar.gz 简单说一下-c参数, 这个也非常常见, 可以断点续传, 如果不小心终止了...
  • wgetLinux最常用的下载命令, 一般的使用方法是: wget + 空格 + 要下载文件的url路径 例如: # wget http://www.linuxsense.org/xxxx/xxx.tar.gz 简单说一下-c参数, 这个也非常常见, 可以断点续传, 如果不小心终止...
  • Linux下载命令wget详解

    千次阅读 2009-11-30 09:15:00
    Wget是一个十分常用命令行下载工具,多数Linux发行版本都默认包含这个工具。如果没有安装可在 http: //www.gnu.org/software/wget/wget.html 下载最新版本,并使用如下命令编译安装: # tar zxvf wget-1.9.1.tar.gz ...
  • Linux命令 - 文件下载命令wget使用指南 # wget简介 wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理。"wget" 这个...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 154,333
精华内容 61,733
关键字:

linux下载文件命令wget

linux 订阅