精华内容
下载资源
问答
  • wget

    千次阅读 2018-10-02 10:14:47
    Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的...

    Linux系统中的wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

    wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

    wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

    1.命令格式:

    wget [参数] [URL地址]

    2.命令功能:

    用于从网络上下载资源,没有指定目录,下载资源回默认为当前目录。wget虽然功能强大,但是使用起来还是比较简单:

    1)支持断点下传功能;这一点,也是网络蚂蚁和FlashGet当年最大的卖点,现在,Wget也可以使用此功能,那些网络不是太好的用户可以放心了;

    2)同时支持FTP和HTTP下载方式;尽管现在大部分软件可以使用HTTP方式下载,但是,有些时候,仍然需要使用FTP方式下载软件;

    3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能;

    4)设置方便简单;可能,习惯图形界面的用户已经不是太习惯命令行了,但是,命令行在设置上其实有更多的优点,最少,鼠标可以少点很多次,也不要担心是否错点鼠标;

    5)程序小,完全免费;程序小可以考虑不计,因为现在的硬盘实在太大了;完全免费就不得不考虑了,即使网络上有很多所谓的免费软件,但是,这些软件的广告却不是我们喜欢的。

    3.命令参数:

    启动参数:

    -V, –version 显示wget的版本后退出

    -h, –help 打印语法帮助

    -b, –background 启动后转入后台执行

    -e, –execute=COMMAND 执行`.wgetrc’格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc

    记录和输入文件参数:

    -o, –output-file=FILE 把记录写到FILE文件中

    -a, –append-output=FILE 把记录追加到FILE文件中

    -d, –debug 打印调试输出

    -q, –quiet 安静模式(没有输出)

    -v, –verbose 冗长模式(这是缺省设置)

    -nv, –non-verbose 关掉冗长模式,但不是安静模式

    -i, –input-file=FILE 下载在FILE文件中出现的URLs

    -F, –force-html 把输入文件当作HTML格式文件对待

    -B, –base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀

    –sslcertfile=FILE 可选客户端证书

    –sslcertkey=KEYFILE 可选客户端证书的KEYFILE

    –egd-file=FILE 指定EGD socket的文件名

    下载参数:

    –bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)

    -t, –tries=NUMBER 设定最大尝试链接次数(0 表示无限制).

    -O –output-document=FILE 把文档写到FILE文件中

    -nc, –no-clobber 不要覆盖存在的文件或使用.#前缀

    -c, –continue 接着下载没下载完的文件

    –progress=TYPE 设定进程条标记

    -N, –timestamping 不要重新下载文件除非比本地文件新

    -S, –server-response 打印服务器的回应

    –spider 不下载任何东西

    -T, –timeout=SECONDS 设定响应超时的秒数

    -w, –wait=SECONDS 两次尝试之间间隔SECONDS秒

    –waitretry=SECONDS 在重新链接之间等待1…SECONDS秒

    –random-wait 在下载之间等待0…2*WAIT秒

    -Y, –proxy=on/off 打开或关闭代理

    -Q, –quota=NUMBER 设置下载的容量限制

    –limit-rate=RATE 限定下载输率

    目录参数:

    -nd –no-directories 不创建目录

    -x, –force-directories 强制创建目录

    -nH, –no-host-directories 不创建主机目录

    -P, –directory-prefix=PREFIX 将文件保存到目录 PREFIX/…

    –cut-dirs=NUMBER 忽略 NUMBER层远程目录

    HTTP 选项参数:

    –http-user=USER 设定HTTP用户名为 USER.

    –http-passwd=PASS 设定http密码为 PASS

    -C, –cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许)

    -E, –html-extension 将所有text/html文档以.html扩展名保存

    –ignore-length 忽略 `Content-Length’头域

    –header=STRING 在headers中插入字符串 STRING

    –proxy-user=USER 设定代理的用户名为 USER

    –proxy-passwd=PASS 设定代理的密码为 PASS

    –referer=URL 在HTTP请求中包含 `Referer: URL’头

    -s, –save-headers 保存HTTP头到文件

    -U, –user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION

    –no-http-keep-alive 关闭 HTTP活动链接 (永远链接)

    –cookies=off 不使用 cookies

    –load-cookies=FILE 在开始会话前从文件 FILE中加载cookie

    –save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中

    FTP 选项参数:

    -nr, –dont-remove-listing 不移走 `.listing’文件

    -g, –glob=on/off 打开或关闭文件名的 globbing机制

    –passive-ftp 使用被动传输模式 (缺省值).

    –active-ftp 使用主动传输模式

    –retr-symlinks 在递归的时候,将链接指向文件(而不是目录)

    递归下载参数:

    -r, –recursive 递归下载--慎用!

    -l, –level=NUMBER 最大递归深度 (inf 或 0 代表无穷)

    –delete-after 在现在完毕后局部删除文件

    -k, –convert-links 转换非相对链接为相对链接

    -K, –backup-converted 在转换文件X之前,将之备份为 X.orig

    -m, –mirror 等价于 -r -N -l inf -nr

    -p, –page-requisites 下载显示HTML文件的所有图片

    递归下载中的包含和不包含(accept/reject):

    -A, –accept=LIST 分号分隔的被接受扩展名的列表

    -R, –reject=LIST 分号分隔的不被接受的扩展名的列表

    -D, –domains=LIST 分号分隔的被接受域的列表

    –exclude-domains=LIST 分号分隔的不被接受的域的列表

    –follow-ftp 跟踪HTML文档中的FTP链接

    –follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表

    -G, –ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表

    -H, –span-hosts 当递归时转到外部主机

    -L, –relative 仅仅跟踪相对链接

    -I, –include-directories=LIST 允许目录的列表

    -X, –exclude-directories=LIST 不被包含目录的列表

    -np, –no-parent 不要追溯到父目录

    wget -S –spider url 不下载只显示过程

    4.使用实例:

    实例1:使用wget下载单个文件

    命令:

    wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    以下的例子是从网络下载一个文件并保存在当前目录,在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。

    实例2:使用wget -O下载并以不同的文件名保存

    命令:
    wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    说明:

    wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。

    错误:下面的例子会下载一个文件并以名称download.aspx?id=1080保存

    wget http://www.minjieren.com/download?id=1

    即使下载的文件是zip格式,它仍然以download.php?id=1080命令。

    正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:

    wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    实例3:使用wget –limit -rate限速下载

    命令:

    wget --limit-rate=300k http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

    实例4:使用wget -c断点续传

    命令:

    wget -c http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    使用wget -c重新启动下载中断的文件,对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

    实例5:使用wget -b后台下载

    命令:

    wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

    wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    Continuing in background, pid 1840.

    Output will be written to `wget-log’.

    你可以使用以下命令来察看下载进度:

    tail -f wget-log

    实例6:伪装代理名称下载

    命令:

    wget --user-agent=“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16” http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:

    有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。

    实例7:使用wget –spider测试下载链接

    命令:

    wget --spider URL

    说明:

    当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。

    wget --spider URL

    如果下载链接正确,将会显示

    wget --spider URL

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response… 200 OK

    Length: unspecified [text/html]

    Remote file exists and could contain further links,

    but recursion is disabled – not retrieving.

    这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误

    wget --spider url

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response… 404 Not Found

    Remote file does not exist – broken link!!!

    你可以在以下几种情况下使用spider参数:

    定时下载之前进行检查

    间隔检测网站是否可用

    检查网站页面的死链接

    实例8:使用wget –tries增加重试次数

    命令:

    wget --tries=40 URL

    说明:

    如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

    实例9:使用wget -i下载多个文件

    命令:

    wget -i filelist.txt

    说明:

    首先,保存一份下载链接文件

    cat > filelist.txt

    url1

    url2

    url3

    url4

    接着使用这个文件和参数-i下载

    实例10:使用wget –mirror镜像网站

    命令:

    wget --mirror -p --convert-links -P ./LOCAL URL

    说明:

    下载整个网站到本地。

    –miror:开户镜像下载

    -p:下载所有为了html页面显示正常的文件

    –convert-links:下载后,转换成本地的链接

    -P ./LOCAL:保存所有文件和目录到本地指定目录

    实例11:使用wget –reject过滤指定格式下载

    命令:
    wget --reject=gif ur

    说明:

    下载一个网站,但你不希望下载图片,可以使用以下命令。

    实例12:使用wget -o把下载信息存入日志文件

    命令:

    wget -o download.log URL

    说明:

    不希望下载信息直接显示在终端而是在一个日志文件,可以使用

    实例13:使用wget -Q限制总下载文件大小

    命令:

    wget -Q5m -i filelist.txt

    说明:

    当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

    实例14:使用wget -r -A下载指定格式文件

    命令:

    wget -r -A.pdf url

    说明:

    可以在以下情况使用该功能:

    下载一个网站的所有图片

    下载一个网站的所有视频

    下载一个网站的所有PDF文件

    实例15:使用wget FTP下载

    命令:

    wget ftp-url

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    说明:

    可以使用wget来完成ftp链接的下载。

    使用wget匿名ftp下载:

    wget ftp-url

    使用wget用户名和密码认证的ftp下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    备注:编译安装

    使用如下命令编译安装:

    tar zxvf wget-1.9.1.tar.gz

    cd wget-1.9.1

    ./configure

    make

    make install

    展开全文
  • wget

    2011-11-10 10:18:21
    wget 是一个命令行的下载工具。对于我们这些 Linux 用户来说,几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧,可以让你更加高效而灵活的使用 wget。 $ wget -r -np -nd ...
    wget 是一个命令行的下载工具。对于我们这些 Linux 用户来说,几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧,可以让你更加高效而灵活的使用 wget。

    $ wget -r -np -nd http://example.com/packages/
    这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

    $ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/
    与上一条命令相似,但多加了一个 --accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

    $ wget -i filename.txt
    此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

    $ wget -c http://example.com/really-big-file.iso
    这里所指定的 -c 选项的作用为断点续传。

    $ wget -m -k (-H) http://www.example.com/
    该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。

    [via]


      -V, --version 显示wget的版本后退出
      -h, --help 打印语法帮助
      -b, --background 启动后转入后台执行
      -e, --execute=COMMAND 执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc
      wget默认会根据网站的robots.txt进行操作
      使用-e robots=off参数即可绕过该限制
      ●记录和输入文件:
      -o, --output-file=FILE 把记录写到FILE文件中
      -a, --append-output=FILE 把记录追加到FILE文件中
      -d, --debug 打印调试输出
      -q, --quiet 安静模式(没有输出)
      -v, --verbose 冗长模式(这是缺省设置)
      -nv, --non-verbose 关掉冗长模式,但不是安静模式
      -i, --input-file=FILE 下载在FILE文件中出现的URLs
      -F, --force-html 把输入文件当作HTML格式文件对待
      -B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
      --sslcertfile=FILE 可选客户端证书
      --sslcertkey=KEYFILE 可选客户端证书的KEYFILE
      --egd-file=FILE 指定EGD socket的文件名
      ●下载:
      --bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
      -t, --tries=NUMBER 设定最大尝试链接次数(0 表示无限制).
      -O --output-document=FILE 把文档写到FILE文件中
      -nc, --no-clobber 不要覆盖存在的文件或使用.#前缀
      -c, --continue 接着下载没下载完的文件
      --progress=TYPE 设定进程条标记
      -N, --timestamping 不要重新下载文件除非比本地文件新
      -S, --server-response 打印服务器的回应
      --spider 不下载任何东西
      -T, --timeout=SECONDS 设定响应超时的秒数
      -w, --wait=SECONDS 两次尝试之间间隔SECONDS秒
      --waitretry=SECONDS 在重新链接之间等待1...SECONDS秒
      --random-wait 在下载之间等待0...2*WAIT秒
      -Y, --proxy=on/off 打开或关闭代理
      -Q, --quota=NUMBER 设置下载的容量限制
      --limit-rate=RATE 限定下载输率
      ●目录:
      -nd --no-directories 不创建目录
      -x, --force-directories 强制创建目录
      -nH, --no-host-directories 不创建主机目录
      -P, --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...
      --cut-dirs=NUMBER 忽略 NUMBER层远程目录
      ●HTTP 选项:
      --http-user=USER 设定HTTP用户名为 USER.
      --http-passwd=PASS 设定http密码为 PASS.
      -C, --cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).
      -E, --html-extension 将所有text/html文档以.html扩展名保存
      --ignore-length 忽略 `Content-Length'头域
      --header=STRING 在headers中插入字符串 STRING
      --proxy-user=USER 设定代理的用户名为 USER
      --proxy-passwd=PASS 设定代理的密码为 PASS
      --referer=URL 在HTTP请求中包含 `Referer: URL'头
      -s, --save-headers 保存HTTP头到文件
      -U, --user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.
      --no-http-keep-alive 关闭 HTTP活动链接 (永远链接).
      --cookies=off 不使用 cookies.
      --load-cookies=FILE 在开始会话前从文件 FILE中加载cookie
      --save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中
      ●FTP 选项:
      -nr, --dont-remove-listing 不移走 `.listing'文件
      -g, --glob=on/off 打开或关闭文件名的 globbing机制
      --passive-ftp 使用被动传输模式 (缺省值).
      --active-ftp 使用主动传输模式
      --retr-symlinks 在递归的时候,将链接指向文件(而不是目录)
      ●递归下载:
      -r, --recursive 递归下载--慎用!
      -l, --level=NUMBER 最大递归深度 (inf 或 0 代表无穷).
      --delete-after 在现在完毕后局部删除文件
      -k, --convert-links 转换非相对链接为相对链接
      -K, --backup-converted 在转换文件X之前,将之备份为 X.orig
      -m, --mirror 等价于 -r -N -l inf -nr.
      -p, --page-requisites 下载显示HTML文件的所有图片
      ●递归下载中的包含和不包含(accept/reject):
      -A, --accept=LIST 分号分隔的被接受扩展名的列表
      -R, --reject=LIST 分号分隔的不被接受的扩展名的列表
      -D, --domains=LIST 分号分隔的被接受域的列表
      --exclude-domains=LIST 分号分隔的不被接受的域的列表
      --follow-ftp 跟踪HTML文档中的FTP链接
      --follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表
      -G, --ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表
      -H, --span-hosts 当递归时转到外部主机
      -L, --relative 仅仅跟踪相对链接
      -I, --include-directories=LIST 允许目录的列表
      -X, --exclude-directories=LIST 不被包含目录的列表
      -np, --no-parent 不要追溯到父目录
    展开全文
  • Wget

    2012-12-07 07:37:17
    wget简介 wget是linux上的命令行的下载工具。这是一个GPL许可证下的自由软件。wget支持HTTP和FTP协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条件的文件并将其下载到本地硬盘上;...
    一 wget简介
    wget是linux上的命令行的下载工具。这是一个GPL许可证下的自由软件。wget支持HTTP和FTP协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条件的文件并将其下载到本地硬盘上;如果必要,wget将恰当地转换页面中的超级连接以在本地生成可浏览的镜像。由于没有交互式界面,wget可在后台运行,截获并忽略HANGUP信号,因此在用户推出登录以后,仍可继续运行。通常,wget用于成批量地下载Internet网站上的文件,或制作远程网站的镜像。

    二 实例

    下载
    下载192.168.1.168首页并且显示下载信息
    wget -d http://192.168.1.168

    下载192.168.1.168首页并且不显示任何信息
    wget -q http://192.168.1.168

    下载filelist.txt中所包含的链接的所有文件
    wget -i filelist.txt

    下载到指定目录
    wget -P/tmp ftp://user:passwd@url/file
    把文件file下载到/tmp目录下。

    wget 是一个命令行的下载工具。对于我们这些 Linux 用户来说,几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧,可以让你更加高效而灵活的使用 wget。

    * $ wget -r -np -nd http://example.com/packages/
    这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

    * $ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/
    与上一条命令相似,但多加了一个 --accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

    * $ wget -i filename.txt
    此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。

    * $ wget -c http://example.com/really-big-file.iso
    这里所指定的 -c 选项的作用为断点续传。

    * $ wget -m -k (-H) http://www.example.com/
    该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。

    三 参数
    代码:
      $ wget --help

      GNU Wget 1.9.1,非交互式的网络文件下载工具。
      用法: wget [选项]... [URL]...

      长选项必须用的参数在使用短选项时也是必须的。

    启动:
      -V, --version 显示 Wget 的版本并且退出。
      -h, --help 打印此帮助。
      -b, -background 启动后进入后台操作。
      -e, -execute=COMMAND 运行‘.wgetrc’形式的命令。

    日志记录及输入文件:
      -o, --output-file=文件 将日志消息写入到指定文件中。
      -a, --append-output=文件 将日志消息追加到指定文件的末端。
      -d, --debug 打印调试输出。
      -q, --quiet 安静模式(不输出信息)。
      -v, --verbose 详细输出模式(默认)。
      -nv, --non-verbose 关闭详细输出模式,但不进入安静模式。
      -i, --input-file=文件 下载从指定文件中找到的 URL。
      -F, --force-html 以 HTML 方式处理输入文件。
      -B, --base=URL 使用 -F -i 文件选项时,在相对链接前添加指定的 URL。

    下载:
      -t, --tries=次数 配置重试次数(0 表示无限)。
      --retry-connrefused 即使拒绝连接也重试。
      -O --output-document=文件 将数据写入此文件中。
      -nc, --no-clobber 不更改已经存在的文件,也不使用在文件名后添加 .#(# 为数字)的方法写入新的文件。
      -c, --continue 继续接收已下载了一部分的文件。
      --progress=方式 选择下载进度的表示方式。
      -N, --timestamping 除非远程文件较新,否则不再取回。
      -S, --server-response 显示服务器回应消息。
      --spider 不下载任何数据。
      -T, --timeout=秒数 配置读取数据的超时时间 (秒数)。
      -w, --wait=秒数 接收不同文件之间等待的秒数。
      --waitretry=秒数 在每次重试之间稍等一段时间 (由 1 秒至指定的 秒数不等)。
      --random-wait 接收不同文件之间稍等一段时间(由 0 秒至 2*WAIT 秒不等)。
      -Y, --proxy=on/off 打开或关闭代理服务器。
      -Q, --quota=大小 配置接收数据的限额大小。
      --bind-address=地址 使用本机的指定地址 (主机名称或 IP) 进行连接。
      --limit-rate=速率 限制下载的速率。
      --dns-cache=off 禁止查找存于高速缓存中的 DNS。
      --restrict-file-names=OS 限制文件名中的字符为指定的 OS (操作系统) 所允许的字符。

    目录:
      -nd --no-directories 不创建目录。
      -x, --force-directories 强制创建目录。
      -nH, --no-host-directories 不创建含有远程主机名称的目录。
      -P, --directory-prefix=名称 保存文件前先创建指定名称的目录。
      --cut-dirs=数目 忽略远程目录中指定数目的目录层。

    HTTP 选项:
      --http-user=用户 配置 http 用户名。
      --http-passwd=密码 配置 http 用户密码。
      -C, --cache=on/off (不)使用服务器中的高速缓存中的数据 (默认是使用的)。
      -E, --html-extension 将所有 MIME 类型为 text/html 的文件都加上 .html 扩展文件名。
      --ignore-length 忽略“Content-Length”文件头字段。
      --header=字符串 在文件头中添加指定字符串。
      --proxy-user=用户 配置代理服务器用户名。
      --proxy-passwd=密码 配置代理服务器用户密码。
      --referer=URL 在 HTTP 请求中包含“Referer:URL”头。
      -s, --save-headers 将 HTTP 头存入文件。
      -U, --user-agent=AGENT 标志为 AGENT 而不是 Wget/VERSION。
      --no-http-keep-alive 禁用 HTTP keep-alive(持久性连接)。
      --cookies=off 禁用 cookie。
      --load-cookies=文件 会话开始前由指定文件载入 cookie。
      --save-cookies=文件 会话结束后将 cookie 保存至指定文件。
      --post-data=字符串 使用 POST 方法,发送指定字符串。
      --post-file=文件 使用 POST 方法,发送指定文件中的内容。

    HTTPS (SSL) 选项:
      --sslcertfile=文件 可选的客户段端证书。
      --sslcertkey=密钥文件 对此证书可选的“密钥文件”。
      --egd-file=文件 EGD socket 文件名。
      --sslcadir=目录 CA 散列表所在的目录。
      --sslcafile=文件 包含 CA 的文件。
      --sslcerttype=0/1 Client-Cert 类型 0=PEM (默认) / 1=ASN1 (DER)
      --sslcheckcert=0/1 根据提供的 CA 检查服务器的证书
      --sslprotocol=0-3 选择 SSL 协议;0=自动选择,
      1=SSLv2 2=SSLv3 3=TLSv1

    FTP 选项:
      -nr, --dont-remove-listing 不删除“.listing”文件。
      -g, --glob=on/off 设置是否展开有通配符的文件名。
      --passive-ftp 使用“被动”传输模式。
      --retr-symlinks 在递归模式中,下载链接所指示的文件(连至目录则例外)。

    递归下载:
      -r, --recursive 递归下载。
      -l, --level=数字 最大递归深度(inf 或 0 表示无限)。
      --delete-after 删除下载后的文件。
      -k, --convert-links 将绝对链接转换为相对链接。
      -K, --backup-converted 转换文件 X 前先将其备份为 X.orig。
      -m, --mirror 等效于 -r -N -l inf -nr 的选项。
      -p, --page-requisites 下载所有显示完整网页所需的文件,例如图像。
      --strict-comments 打开对 HTML 备注的严格(SGML)处理选项。

    递归下载时有关接受/拒绝的选项:
      -A, --accept=列表 接受的文件样式列表,以逗号分隔。
      -R, --reject=列表 排除的文件样式列表,以逗号分隔。
      -D, --domains=列表 接受的域列表,以逗号分隔。
      --exclude-domains=列表 排除的域列表,以逗号分隔。
      --follow-ftp 跟随 HTML 文件中的 FTP 链接。
      --follow-tags=列表 要跟随的 HTML 标记,以逗号分隔。
      -G, --ignore-tags=列表 要忽略的 HTML 标记,以逗号分隔。
      -H, --span-hosts 递归时可进入其它主机。
      -L, --relative 只跟随相对链接。
      -I, --include-directories=列表 要下载的目录列表。
      -X, --exclude-directories=列表 要排除的目录列表。
      -np, --no-parent 不搜索上层目录。

    四 FQA
    A.使用wget工具
    linux所以的主要版本都自带了wget这个下载工具.
    bash$ wget http://place.your.url/here

    它还能控制ftp来下载整个web站点的各级目录,当然,如果你不小心,可能会把整个网站以及其他和他做链接的网站全部下载下来.
    bash$ wget -m http://target.web.site/subdirectory

    由于这个工具具有很强的下载能力,所以可以在服务器上把它用作镜像网站的工具.让它按照”robots.txt”的规定来执行.
    有很多参数用来控制它如何正确地做镜像,可以限制链接的类型和下载文件的类型等等.例如:只下载有联系的链接并且忽略GIF图片:
    bash$ wget -m -L –reject=gif http://target.web.site/subdirectory

    wget也能够实现断点续传(-c参数),当然,这种操作是需要远程服务器支持的.
    bash$ wget -c http://the.url.of/incomplete/file

    可以把断点续传和镜像功能结合起来,这样可以在以前断过多次的情况下继续镜像一个有大量选择性文件的站点.如何自动实现这个目的我们在后面会讨论得更多.
    如果你觉得下载时老是断线会影响你办公的话,你可以限制wget重试的次数.
    bash$ wget -t 5 http://place.your.url/here
    这样重试五次后就放弃了.用”-t inf”参数表示永远不放弃.不停地重试.

    B.那对于代理服务该怎么办呢?
    可以使用http代理的参数或者在.wgetrc配置文件里指定一个如何通过代理去下载的途径.但是有这么一个问题,如果通过代理来进行断点续传的话可能会有几次失败.如果有一次通过代理下载的过程发生中断,那么代理服务器上缓存里保存是那个完整的文件拷贝. 所以当你用”wget -c”来下载剩余部分的时候代理服务器查看它的缓存,并错误地认为你已经下载了整个文件.于是就发出了错误的信号.这个时候你可以用添加一个特定的请求参数来促使代理服务器清除他们的缓存:
    bash$ wget -c –header=”Pragma: no-cache” http://place.your.url/here

    这个”–header”参数能够以各种数字,各种方式添加。通过它我们可以更改web服务器或者代理服务器的某些属性。有些站点不提供外部连接的文件服务,只有通过同一个站点上其他的一些页面时内容才会被提交。这个时候你可以用加上”Referer:”参数:
    bash$ wget –header=”Referer: http://coming.from.this/page” http://surfing.to.this/page
    有些特殊的网站只支持某种特定的浏览器,这个时候可以用”User-Agent:”参数
    bash$ wget –header=”User-Agent: Mozilla/4.0 (compatible; MSIE 5.0;Windows NT; DigExt)” http://msie.only.url/here

    C.那我怎么设定下载时间呢?
    如果你需要在你的办公电脑上通过和其他同事共享的一个连接来下载一些很大的文件,而且你希望你的同事不会因为网络速度的减慢而收到影响,那你就应该尽量避开高峰时段。当然,不需要在办公室里等到所以人都走掉,也不需要在家里用完晚饭后还惦记着要上网下载一次。
    用at来就可以很好的定制工作时间:
    bash$ at 23:00
    warning: commands will be executed using /bin/sh
    at> wget http://place.your.url/here
    at> press Ctrl-D
    这样,我们设定了下载工作在晚上11点进行。为了使这个安排能够正常进行,请确
    认atd这个后台程序正在运行。

    D.下载要花很多时间?
    当你需要下载大量的数据,而且你又没有享有足够的带宽,这个时候你会经常发现在你安排的下载任务还没有完成,一天的工作却又要开始了。
    作为一个好同事,你只能停掉了这些任务,而开始另外的工作。然后你又需要反复地重复使用”wget -c”来完成你的下载。这样肯定太繁琐了,所以最好是用crontab来自动执行。创建一个纯文本文件,叫做”crontab.txt”,包含下面的内容:
    0 23 * * 1-5 wget -c -N http://place.your.url/here
    0 6 * * 1-5 killall wget
    这个crontab文件指定某些任务定期地执行。前五列声明是什么时候执行这个命令,而每行的剩余部分则告诉crontab执行什么内容。
    前两列指定了每天一到晚上11点就开始用wget下载,一到早上6点就停止一切wget下载。第三四列的*表示每个月的每一天都执行这个任务。第五列则指定了一个星期的哪几天来执行这个程序。 –”1-5″表示从星期一到星期五。

    这样在每个工作日的晚上11点,下载工作开始,到了上午的6点,任何的wget任务就被停掉了。你可以用下面的命令来执行crontab:bash$ crontab crontab.txt
    wget的这个”-N”参数将会检查目标文件的时间戳,如果匹配了,下载程序就会停止,因为它说明整个文件已经下载完全了。
    用”crontab -r”可以删除这个计划安排。我已经多次采用这种方法,通过共享的电话拨号来下载过很多的ISO镜像文件,还是比较实用的。

    E.如何下载动态变化的网页
    有些网页每天都要根据要求变化好几次.所以从技术上讲,目标不再是一个文件,它没有文件长度.因此”-c”这个参数也就失去了意义.
    例如:一个PHP写的并且经常变动的linux周末新闻网页:
    bash$ wget http://lwn.net/bigpage.php3

    我办公室里的网络条件经常很差,给我的下载带了很大的麻烦,所以我写了个简单的脚本来检测动态页面是否已经完全更新了.
    #!/bin/bash
    #create it if absent
    touch bigpage.php3
    #check if we got the whole thing
    while ! grep -qi bigpage.php3
    do
    rm -f bigpage.php3
    #download LWN in one big page
    wget http://lwn.net/bigpage.php3
    done
    这个脚本能够保证持续的下载该网页,直到网页里面出现了" ",这就表示该文件已经完全更新了.

    F.对于ssl和Cookies怎么办?
    如果你要通过ssl来上网,那么网站地址应该是以”https://”来开头的.在这样的情况下你就需要另外一种下载工具,叫做curl,它能够很容易获得.有些网站迫使网友在浏览的时候必须使用cookie.所以你必须从在网站上得到的那个 Cookie里面得到”Cookie:”这个参数.这样才
    能保证下载的参数正确.对于lynx和Mozilla的Cookie的文件格式,用下面的:
    bash$ cookie=$( grep nytimes ~/.lynx_cookies |awk {printf(”%s=%s;”,$6,$7)} )
    就可以构造一个请求Cookie来下载http://www.nytimes.com上的内容.当然,你要已经用这个浏览器在该网站上完成注册.
    w3m使用了一种不同的,更小巧的Cookie文件格式:
    bash$ cookie=$( grep nytimes ~/.w3m/cookie |awk {printf(”%s=%s;”,$2,$3)} )
    现在就可以用这种方法来下载了:
    bash$ wget –header=”Cookie: $cookie” http://www.nytimes.com/reuters/technology/tech-tech-supercomput.html
    或者用curl工具:
    bash$ curl -v -b $cookie -o supercomp.html http://www.nytimes.com/reuters/technology/tech-tech-supercomput.htm

    G.如何建立地址列表?
    到现在为止我们下载的都是单个文件或者是整个网站.有的时候我们需要下载某个网页上链接的大量文件,但没有必要把它整个网站都镜像下来.比如说我们想从一个依次排列的100首歌里面下载前20首.注意,这里”–accept”和”–reject”参数是不会起作用的, 因为他们只对文件操作起作用.所以一定要用”lynx -dump”参数来代替.
    bash$ lynx -dump ftp://ftp.ssc.com/pub/lg/ |grep gz$ |tail -10 |awk {print $2} > urllist.txt
    lynx的输出结果可以被各种GNU文本处理工具过虑.在上面的例子里,我们的链接地址是以”gz”结尾的,并且把最后10个文件地址放到urllist.txt文件里.然后我们可以写一个简单的bash脚本来自动下载这个文件里的目标文件:
    bash$ for x in $(cat urllist.txt)
    > do
    > wget $x
    > done
    这样我们就能够成功下载Linux Gazette网站(ftp://ftp.ssc.com/pub/lg/)上的最新10个论题.

    H.扩大使用的带宽
    如果你选择下载一个受带宽限制的文件,那你的下载会因为服务器端的限制而变得很慢.下面这个技巧会大大缩短下载的过程.但这个技巧需要你使用curl并且远程服务器有多个镜像可以供你下载.例如,假设你想从下面的三个地址下载Mandrake 8.0:
    url1=http://ftp.eecs.umich.edu/pub/linux/mandrake/iso/Mandrake80-inst.iso
    url2=http://ftp.rpmfind.net/linux/Mandrake/iso/Mandrake80-inst.iso
    url3=http://ftp.wayne.edu/linux/mandrake/iso/Mandrake80-inst.iso
    这个文件的长度是677281792个字节,所以用curl程序加”–range”参数来建立三个同时进行的下载:
    bash$ curl -r 0-199999999 -o mdk-iso.part1 $url1 &
    bash$ curl -r 200000000-399999999 -o mdk-iso.part2 $url2 &
    bash$ curl -r 400000000- -o mdk-iso.part3 $url3 &
    这样就创建了三个后台进程.每个进程从不同的服务器传输这个ISO文件的不同部分.这个”-r”参数指定目标文件的字节范围.当这三个
    进程结束后,用一个简单的cat命令来把这三个文件衔接起来– cat mdk-iso.part? > mdk-80.iso.(强烈建议在刻盘之前先检查md5)
    你也可以用”–verbose”参数来使每个curl进程都有自己的窗口来显示传输的过程.

    完!感谢,Thanks!

    转自:http://www.cnblogs.com/itech/archive/2009/08/31/1555966.html

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 101,670
精华内容 40,668
热门标签
关键字:

如何删除wget