精华内容
下载资源
问答
  • wget的基本使用方法

    2020-12-23 16:00:03
    如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过...

    Linux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。下面我们以实例的形式说明怎么使用wget。
    1、使用wget下载单个文件
    以下的例子是从网络下载一个文件并保存在当前目录

    wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
    

    在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。
    2、使用wget -O下载并以不同的文件名保存
    wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。
    错误:下面的例子会下载一个文件并以名称download.php?id=1080保存

    wget http://www.centos.bz/download?id=1
    

    即使下载的文件是zip格式,它仍然以download.php?id=1080命令。
    正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:

    wget -O wordpress.zip http://www.centos.bz/download.php?id=1080
    

    3、使用wget –limit -rate限速下载
    当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

    wget –limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
    

    4、使用wget -c断点续传
    使用wget -c重新启动下载中断的文件:

    wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
    

    对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。
    5、使用wget -b后台下载
    对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

    wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
    

    Continuing in background, pid 1840.
    Output will be written to `wget-log’.
    你可以使用以下命令来察看下载进度

    tail -f wget-log
    

    6、伪装代理名称下载
    有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。

    wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下载链接
    

    7、使用wget –spider测试下载链接
    当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。

    wget –spider URL
    

    如果下载链接正确,将会显示

    wget –spider URL
    Spider mode enabled. Check if remote file exists.
    HTTP request sent, awaiting response… 200 OK
    Length: unspecified [text/html]
    Remote file exists and could contain further links,
    but recursion is disabled — not retrieving.
    

    这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误

    wget –spider url
    Spider mode enabled. Check if remote file exists.
    HTTP request sent, awaiting response… 404 Not Found
    Remote file does not exist — broken link!!!
    

    你可以在以下几种情况下使用spider参数:
    定时下载之前进行检查
    间隔检测网站是否可用
    检查网站页面的死链接
    8、使用wget –tries增加重试次数
    如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

    wget –tries=40 URL
    

    9、使用wget -i下载多个文件
    首先,保存一份下载链接文件

    cat > filelist.txt
    url1
    url2
    url3
    url4
    

    接着使用这个文件和参数-i下载

    wget -i filelist.txt
    

    10、使用wget –mirror镜像网站
    下面的例子是下载整个网站到本地。

    wget –mirror -p –convert-links -P ./LOCAL URL
    
    –miror:开户镜像下载
    -p:下载所有为了html页面显示正常的文件
    –convert-links:下载后,转换成本地的链接
    -P ./LOCAL:保存所有文件和目录到本地指定目录
    

    11、使用wget –reject过滤指定格式下载
    你想下载一个网站,但你不希望下载图片,你可以使用以下命令。

    wget –reject=gif url
    

    12、使用wget -o把下载信息存入日志文件
    你不希望下载信息直接显示在终端而是在一个日志文件,可以使用以下命令:

    wget -o download.log URL
    

    13、使用wget -Q限制总下载文件大小
    当你想要下载的文件超过5M而退出下载,你可以使用以下命令:

    wget -Q5m -i filelist.txt
    

    注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。
    14、使用wget -r -A下载指定格式文件
    可以在以下情况使用该功能
    下载一个网站的所有图片
    下载一个网站的所有视频
    下载一个网站的所有PDF文件

    wget -r -A.pdf url
    

    15、使用wget FTP下载
    你可以使用wget来完成ftp链接的下载。
    使用wget匿名ftp下载

    wget ftp-url
    

    使用wget用户名和密码认证的ftp下载

    wget –ftp-user=USERNAME –ftp-password=PASSWORD url
    
    展开全文
  • wget使用方法

    千次阅读 2021-01-17 15:17:09
    wget [参数列表] URL首先来介绍一下wget的主要参数:· -b:让wget在后台运行,记录文件写在当前目录下"wget-log"文件中;· -t [nuber of times]:尝试次数,当wget无法与服务器建立连接时,尝试连接多少次。比如"-...

    wget [参数列表] URL

    首先来介绍一下wget的主要参数:

    · -b:让wget在后台运行,记录文件写在当前目录下"wget-log"文件中;

    · -t [nuber of times]:尝试次数,当wget无法与服务器建立连接时,尝试连接多少次

    。比如"-t

    120"表示尝试120次。当这一项为"0"的时候,指定尝试无穷多次直到连接成功为止,这个 设置非常有用,当对方服务器突然关机或者网络突然中断的时候,可以在恢复正常后继续 下载没有传完的文件;

    ·

    -c:断点续传,这也是个非常有用的设置,特别当下载比较大的文件的时候,如果中

    途意外中断,那么连接恢复的时候会从上次没传完的地方接着传,而不是又从头开始,使

    用这一项需要远程服务器也支持断点续传,一般来讲,基于UNIX/Linux的Web/FTP服务器

    都支持断点续传;

    · -T [number of seconds]:超时时间,指定多长时间远程服务器没有响应就中断连接

    ,开始下一次尝试。比如"-T 120"表示如果120秒以后远程服务器没有发过来数据,就重新尝试连接。如果网络速度比 较快,这个时间可以设置的短些,相反,可以设置的长一些,一般最多不超过900,通常 也不少于60,一般设置在120左右比较合适;

    · -w [number of seconds]:在两次尝试之间等待多少秒,比如"-w 100"表示两次尝试 之间等待100秒;

    · -Y on/off:通过/不通过代理服务器进行连接;

    · -Q [byetes]:限制下载文件的总大小最多不能超过多少,比如"-Q2k"表示不能超过2K 字节,"-Q3m"表示最多不能超过3M字节,如果数字后面什么都不加,就表示是以字节为单 位,比如"-Q200"表示最多不能超过200字节;

    · -nd:不下载目录结构,把从服务器所有指定目录下载的文件都堆到当前目录里;

    · -x:与"-nd"设置刚好相反,创建完整的目录结构,例如"wget -nd http://www.gnu.org"将创建在当前目录下创建"www.gnu.org"子目录,然后按照服务器 实际的目录结构一级一级建下去,直到所有的文件都传完为止;

    · -nH:不创建以目标主机域名为目录名的目录,将目标主机的目录结构直接下到当前目 录下;

    · --http-user=username

    · --http-passwd=password:如果Web服务器需要指定用户名和口令,用这两项来设定;

    · --proxy-user=username

    · --proxy-passwd=password:如果代理服务器需要输入用户名和口令,使用这两个选项 ;

    · -r:在本机建立服务器端目录结构;

    · -l [depth]:下载远程服务器目录结构的深度,例如"-l 5"下载目录深度小于或者等 于5以内的目录结构或者文件;

    · -m:做站点镜像时的选项,如果你想做一个站点的镜像,使用这个选项,它将自动设 定其他合适的选项以便于站点镜像;

    · -np:只下载目标站点指定目录及其子目录的内容。这也是一个非常有用的选项,我们 假设某个人的个人主页里面有一个指向这个站点其他人个人主页的连接,而我们只想下载 这个人的个人主页,如果不设置这个选项,甚至--有可能把整个站点给抓下来,这显然是

    我们通常不希望的;

    ü 如何设定wget所使用的代理服务器

    wget

    可以使用用户设置文件".wgetrc"来读取很多设置,我们这里主要利用这个文件来是

    设置代理服务器。使用者用什么用户登录,那么什么用户主目录下的".wgetrc"文件就起

    作用。例如,"root"用户如果想使用".wgetrc"来设置代理服务器,"/root/.wgert"就起

    作用,下面给出一个".wge trc"文件的内容,读者可以参照这个例子来编写自己的"wgetrc"文件:

    http_proxy = 111.111.111.111:8080

    ftp_proxy = 111.111.111.111:8080

    这两行的含义是,代理服务器IP地址为:111.111.111.111,端口号为:80。第一行指定

    HTTP协议所使用的代理服务器,第二行指定FTP协议所使用的代理服务器。

    用法: wget [选项]... www.redhat.com

    范例二:mirr ... 柯迹

    展开全文
  • Linux中wget用法

    2020-12-22 02:30:33
    wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的自动下载是指,wget可以在用户退出系统之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成。一.....

    Wget简介:

    Linux系统中wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的自动下载是指,wget可以在用户退出系统之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成。

    一.命令格式:

    wget [参数] [URL地址]

    二.功能:

    (1)支持断点下传功能;

    (2)同时支持FTP和HTTP下载方式;

    (3)支持代理服务器;对安全强度很高的系统而言,一般不会将自己的系统直接暴露在互联网上,所以,支持代理是下载软件必须有的功能;

    (4)设置方便简单;

    (5)程序小,完全免费;

    三.常用语法:

    1.下载整个http或者ftp站点。

    wget http://place.your.url/here

    这个命令可以将http://place.your.url/here 首页下载下来。使用-x会强制建立服务器上一模一样的目录,如果使用-nd参数,那么服务器上下载的所有内容都会加到本地当前目录。

    wget -r http://place.your.url/here

    这 个命令会按照递归的方法,下载服务器上所有的目录和文件,实质就是下载整个网站。这个命令一定要小心使用,因为在下载的时候,被下载网站指向的所有地址同 样会被下载,因此,如果这个网站引用了其他网站,那么被引用的网站也会被下载下来!基于这个原因,这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层,那么使用-l 2。

    要是您想制作镜像站点,那么可以使用-m参数,例如:wget -m http://place.your.url/here

    这时wget会自动判断合适的参数来制作镜像站点。此时,wget会登录到服务器上,读入robots.txt并按robots.txt的规定来执行。

    2.断点续传。

    当文件特别大或者网络特别慢的时候,往往一个文件还没有下载完,连接就已经被切断,此时就需要断点续传。wget的断点续传是自动的,只需要使用-c参数,例如:

    wget -c http://the.url.of/incomplete/file

    使用断点续传要求服务器支持断点续传。-t参数表示重试次数,例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。-T参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。

    3.批量下载。

    如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt

    这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页)

    4.选择性的下载。

    可以指定让wget只下载一类文件,或者不下载什么文件。例如:

    wget -m –reject=gif http://target.web.site/subdirectory

    表示下载http://target.web.site/subdirectory,但是忽略gif文件。–accept=LIST 可以接受的文件类型,–reject=LIST拒绝接受的文件类型。

    5.密码和认证。

    wget只能处理利用用户名/密码方式限制访问的网站,可以利用两个参数:

    –http-user=USER设置HTTP用户

    –http-passwd=PASS设置HTTP密码

    对于需要证书做认证的网站,就只能利用其他下载工具了,例如curl。

    6.利用代理服务器进行下载。

    如果用户的网络需要经过代理服务器,那么可以让wget通过代理服务器进行文件的下载。此时需要在当前用户的目录下创建一个.wgetrc文件。文件中可以设置代理服务器:

    http-proxy = 111.111.111.111:8080

    ftp-proxy = 111.111.111.111:8080

    分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用:

    –proxy-user=USER设置代理用户

    –proxy-passwd=PASS设置代理密码

    这两个参数。

    使用参数–proxy=on/off 使用或者关闭代理。

    四.实例:

    实例1:使用wget下载单个文件

    命令:wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    实例2:使用wget -O下载并以不同的文件名保存

    命令:wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    说明:wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。

    错误:下面的例子会下载一个文件并以名称download.aspx?id=1080保存

    wget http://www.minjieren.com/download?id=1

    即使下载的文件是zip格式,它仍然以download.php?id=1080命令。

    正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:

    wget -O wordpress.zip http://www.minjieren.com/download.aspx?id=1080

    实例3:使用wget –limit -rate限速下载

    命令:wget --limit-rate=300k http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。

    实例4:使用wget -c断点续传

    命令:wget -c http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:使用wget -c重新启动下载中断的文件,对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。

    实例5:使用wget -b后台下载

    命令:wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。

    wget -b http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    Continuing in background, pid 1840.

    Output will be written to `wget-log'.

    你可以使用以下命令来察看下载进度:

    tail -f wget-log

    实例6:伪装代理名称下载

    命令:wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.minjieren.com/wordpress-3.1-zh_CN.zip

    说明:有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。

    实例7:使用wget –spider测试下载链接

    命令:wget --spider URL

    说明:当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。

    wget --spider URL

    如果下载链接正确,将会显示

    wget --spider URL

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response... 200 OK

    Length: unspecified [text/html]

    Remote file exists and could contain further links,

    but recursion is disabled -- not retrieving.

    这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误

    wget --spider url

    Spider mode enabled. Check if remote file exists.

    HTTP request sent, awaiting response... 404 Not Found

    Remote file does not exist -- broken link!!!

    你可以在以下几种情况下使用spider参数:

    定时下载之前进行检查

    间隔检测网站是否可用

    检查网站页面的死链接

    实例8:使用wget –tries增加重试次数

    命令:wget --tries=40 URL

    说明:如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。

    实例9:使用wget -i下载多个文件

    命令:wget -i filelist.txt

    说明:首先,保存一份下载链接文件

    cat > filelist.txt

    url1

    url2

    url3

    url4

    接着使用这个文件和参数-i下载

    实例10:使用wget –mirror镜像网站

    命令:wget --mirror -p --convert-links -P ./LOCAL URL

    说明:下载整个网站到本地。

    –miror:开户镜像下载

    -p:下载所有为了html页面显示正常的文件

    –convert-links:下载后,转换成本地的链接

    -P ./LOCAL:保存所有文件和目录到本地指定目录

    实例11:使用wget –reject过滤指定格式下载

    命令:wget --reject=gif ur

    说明:下载一个网站,但你不希望下载图片,可以使用以下命令。

    实例12:使用wget -o把下载信息存入日志文件

    命令:wget -o download.log URL

    说明:不希望下载信息直接显示在终端而是在一个日志文件,可以使用

    实例13:使用wget -Q限制总下载文件大小

    命令:wget -Q5m -i filelist.txt

    说明:当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。

    实例14:使用wget -r -A下载指定格式文件

    命令:wget -r -A.pdf url

    说明:可以在以下情况使用该功能:

    下载一个网站的所有图片

    下载一个网站的所有视频

    下载一个网站的所有PDF文件

    实例15:使用wget FTP下载

    命令:wget ftp-url

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    说明:可以使用wget来完成ftp链接的下载。

    使用wget匿名ftp下载:

    wget ftp-url

    使用wget用户名和密码认证的ftp下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url

    备注:编译安装

    使用如下命令编译安装:

    # tar zxvf wget-1.9.1.tar.gz

    # cd wget-1.9.1

    # ./configure

    # make

    # make install

    展开全文
  • wget用法

    2021-06-30 11:57:20
    本文结合例子介绍Windows下wget的多种下载方法和用途。 1、用Wget下载单个文件 下载的时候会显示: ~文件的大小、连接状态、连接地址以及文件的大小 ~保存的名称 ~下载进度条 ~下载速度、时间,还有多少未下载 例如...

    http://www.cnblogs.com/dzh-stuff/archive/2012/02/16/2354611.html

    Wget是一种很好用的因特网下载工具,他具有的很多特性是其他工具所不能比拟的,再者他是一个轻量级可配置的下载工具。

    本文结合例子介绍Windows下wget的多种下载方法和用途。

    1、用Wget下载单个文件

    下载的时候会显示:

    ~文件的大小、连接状态、连接地址以及文件的大小

    ~保存的名称

    ~下载进度条

    ~下载速度、时间,还有多少未下载

    例如我下载editplus时输入

    D:\Hack stuff\wget>wget http://software-files-a.cnet.com/s/software/12/32/81/47/
    epp331.exe?token=1329413178_4553efa847829f3ecef10c1bc256fcc0&lop=link&ptype=3001
    &ontid=2352&siteId=4&edId=3&spi=537d5d5485f688682d82c481c4fb15a1&pid=12328147&ps
    id=10018241&&fileName=epp331.exe
    则下载时会显示以下内容

    复制代码
    D:\Hack stuff\wget>wget http://software-files-a.cnet.com/s/software/12/32/81/47/
    epp331.exe?token=1329413178_4553efa847829f3ecef10c1bc256fcc0&lop=link&ptype=3001
    &ontid=2352&siteId=4&edId=3&spi=537d5d5485f688682d82c481c4fb15a1&pid=12328147&ps
    id=10018241&&fileName=epp331.exe
    –2012-02-16 15:28:50-- http://software-files-a.cnet.com/s/software/12/32/81/47
    /epp331.exe?token=1329413178_4553efa847829f3ecef10c1bc256fcc0
    Resolving software-files-a.cnet.com… 204.2.171.33, 204.2.171.35
    Connecting to software-files-a.cnet.com|204.2.171.33|:80… connected.
    HTTP request sent, awaiting response… 200 OK
    Length: 1766464 (1.7M) [application/octet-stream]
    Saving to: `epp331.exe@token=1329413178_4553efa847829f3ecef10c1bc256fcc0’

    18% [======> ] 335,238 20.5K/s eta 64s
    复制代码

    2、用Wget-O下载可以为下载的文件指定另外一个名字

    默认情况下wget会用最后的斜线后面的所有字符来命名下载下来的文件,如上例所示保存的文件名为

    Saving to: `epp331.exe@token=1329413178_4553efa847829f3ecef10c1bc256fcc0’
    这不是我们所想要的,我们可以用-O选项来改变将文件保存为editplus.exe

    D:\Hack stuff\wget>wget -O editplus.exe http://software-files-a.cnet.com/s/software/12/32/81/47/
    epp331.exe?token=1329413178_4553efa847829f3ecef10c1bc256fcc0&lop=link&ptype=3001
    &ontid=2352&siteId=4&edId=3&spi=537d5d5485f688682d82c481c4fb15a1&pid=12328147&ps
    id=10018241&&fileName=epp331.exe

    3、用Wget --limit-rate指定下载的速度

    如下面这个例子限制速度为300k

    D:\Hack stuff\wget>wget --limit-rate=300k http://downloads.sourceforge.net/project/boost/boost-doc
    s/1.47.0/boost_1_47_pdf.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fboost%2F
    &ts=1329379231&use_mirror=nchc

    4、续传下载用Wget -c

    当你在下载一个大文件时突然中断了那么这个选项就派上用场了

    D:\Hack stuff\wget>wget -c http://downloads.sourceforge.net/project/boost/boost-doc
    s/1.47.0/boost_1_47_pdf.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fboost%2F
    &ts=1329379231&use_mirror=nchc

    5、后台下载用wget -b

    用此选项下载时只会初始化下载而不会显示相关信息

    D:\Hack stuff\wget>wget -b http://downloads.sourceforge.net/project/boost/boost-
    docs/1.47.0/boost_1_47_pdf.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fboost
    %2F&ts=1329379231&use_mirror=nchc
    Continuing in background, pid 6132.
    Output will be written to `wget-log’.
    下载以后会在wget目录下生产wget-log文件,用记事本打开可查看里面的内容如下所示

    复制代码
    –2012-02-16 16:12:55-- http://downloads.sourceforge.net/project/boost/boost-docs/1.47.0/boost_1_47_pdf.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fboost%2F
    Resolving downloads.sourceforge.net… 216.34.181.59
    Connecting to downloads.sourceforge.net|216.34.181.59|:80… connected.
    HTTP request sent, awaiting response… 302 Found
    Location: http://nchc.dl.sourceforge.net/project/boost/boost-docs/1.47.0/boost_1_47_pdf.zip [following]
    –2012-02-16 16:12:56-- http://nchc.dl.sourceforge.net/project/boost/boost-docs/1.47.0/boost_1_47_pdf.zip
    Resolving nchc.dl.sourceforge.net… 211.79.60.17
    Connecting to nchc.dl.sourceforge.net|211.79.60.17|:80… connected.
    HTTP request sent, awaiting response… 200 OK
    Length: 31421410 (30M) [application/zip]
    Saving to: `boost_1_47_pdf.zip.4’

     0K .......... .......... .......... .......... ..........  0% 19.7K 25m51s
    50K .......... .......... .......... .......... ..........  0% 29.1K 21m40s
    

    100K … … … … … 0% 20.8K 22m35s
    150K … … … … … 0% 19.5K 23m26s
    200K … … … … … 0% 18.4K 24m13s
    250K … … … … … 0% 20.8K 24m13s
    300K … … … … … 1% 18.2K 24m41s
    350K … … … … … 1% 23.5K 24m16s
    复制代码

    6、测试你要下载的地址用Wget --spider

    wget --spider DOWNLOAD-URL
    如果所给URL是正确的则会显示

    复制代码
    Resolving downloads.sourceforge.net… 216.34.181.59
    Connecting to downloads.sourceforge.net|216.34.181.59|:80… connected.
    HTTP request sent, awaiting response… 302 Found
    Location: http://ncu.dl.sourceforge.net/project/boost/boost-docs/1.47.0/boost_1_
    47_pdf.zip [following]
    Spider mode enabled. Check if remote file exists.
    –2012-02-16 16:21:08-- http://ncu.dl.sourceforge.net/project/boost/boost-docs/
    1.47.0/boost_1_47_pdf.zip
    Resolving ncu.dl.sourceforge.net… 140.115.17.45
    Connecting to ncu.dl.sourceforge.net|140.115.17.45|:80… connected.
    HTTP request sent, awaiting response… 200 OK
    Length: 31421410 (30M) [application/zip]
    Remote file exists.
    复制代码
    否则显示

    复制代码
    Spider mode enabled. Check if remote file exists.
    –2012-02-16 16:23:06-- http://downloads.sourceforge.net/project/boost/boost-do
    cs/1.47.0/boost_1_47_pdf222.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fboos
    t%2F
    Resolving downloads.sourceforge.net… 216.34.181.59
    Connecting to downloads.sourceforge.net|216.34.181.59|:80… connected.
    HTTP request sent, awaiting response… 404 Not Found
    Remote file does not exist – broken link!!!
    复制代码

    7、增加重连次数用Wget -tries

    在网络有问题的情况次选项尤其有用,默认是wget会重连20次以成功完成下载,我们可以把他增加为我们期待的次数

    wget --tries=100 DOWNLOAD-URL

    8、下载多个文件/URLS用wget -i

    首先把所有要下载的文件或者URL存到一个记事本中,比如aa.txt,里面内容如下

    URL1
    URL2
    URL3
    URL4
    接下来输入如下代码就可以批量下载了

    wget -i aa.txt

    9、下载一个完整的网站用wget -mirror

    以下实现是你想完整的下载一个网站用于本地浏览

    wget --mirror -p --convert-links -P LOCAL-DIR WEBSITE-URL
    –mirror:打开镜像选项

    -p:下载所有用于显示给定网址所必须的文件

    –convert-links:下载以后,转换链接用于本地显示

    -P LOCAL_DIR:保存所有的文件或目录到指定的目录下

    10、保存输出到日志文件而不是标准输出用wget -o

    当你想要把信息保存到一个文件而不是在终端显示时用以下代码。

    wget -o download.log DOWNLOAD-URL

    11、当超过指定大小时终止下载用wget -Q

    当文件已下载10M,此时你想停止下载可以使用下面的命令行

    wget -Q10m -i FILE-WHICH-HAS-URLS
    注意:此选项只能在下载多个文件时有用,当你下载一个文件时没用。

    12、下载特定文件类型的文件用wget -r -A

    你可以用此方法下载一下文件:

    ~从一个网站下载所有图片
    ~从一个网站下载所有视频

    ~从一个网站下载所有PDF文件

    wget -r -A.pdf http://url-to-webpage-with-pdfs/

    13、指定不下载某一类型的文件用wget --reject

    你发现一个网站很有用,但是你不想下载上面的图片,因为太占流量,此时你可以用如下命令。

    wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

    14、用wget实现FTP下载

    匿名FTP下载用

    wget ftp-url
    有用户名和密码的FTP下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

    15、wget下载有的资源时必须用选项 --no-check-certificate,否则会提示没有认证不允许下载

    wget --no-check-certificate URL

    展开全文
  • 举个简单的例子: sudo wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 更多了解: https://www.cnblogs.com/wuheng1991/p/5332764.html
  • 面对python中wget的问题

    2021-01-14 12:11:44
    对你所经历的行为的一个可能的解释是不清理输入linewith open ('/tmp/reddy_log.txt') as infile:...for line in infile:...myurl = "http://data.xyz.com" + str(line)wget.download(str(myurl))当您迭代一个file...
  • wget 命令参数用法:-P指定下载文件的存放目录 /dir-O指定下载文件的名字,重命名 /dir/file-o屏幕输出信息保存到日志中;相当于 > /dir/logfile-a屏幕输出信息追加到日志中;相当于 >> /dir/logfile-S屏幕...
  • Nodejs linux wget 安装方式
  • curl与wget高级用法

    2021-01-17 15:17:10
    curl(文件传输工具) 常用参数如下:...1.8.0.tar.gz 例2:对于网络不稳定的用户可以使用-c和–tries参数,保证下载完成 # wget –tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz 1 # wget –tries=20 -c ...
  • Windows环境下使用wget的详细操作步骤写在前面的话操作步骤1、下载zip压缩包,解压到自定义目录2、配置系统环境变量3、验证是否成功 写在前面的话       众所周知,wget这个工具是...
  • 显示 Wget 的版本信息并退出 -h --help 打印此帮助 -b --background 启动后转入后台 -e --execute=COMMAND 运行一个“.wgetrc”风格的命令 日志和输入文件 -o --output-file=FILE...
  • Linux下载文件命令wget的一些用法

    千次阅读 2021-01-30 17:34:30
    wget 是一个从网络上自动下载文件的自由工具,支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议下载,并可以使用 HTTP 代理。 “wget” 这个名称来源于 “World Wide Web” 与 “get” 的结合。 所谓自动下载,是...
  • wget重新连接方法

    2021-04-08 21:32:04
    我是使用wget去下载 mysql8的安装包 wget -t 0 -c https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-server_8.0.19-1debian9_amd64.deb-bundle.tar 一开始下载的挺快,然后随着下载继续,下载速度就一直...
  • wget是linux最常用的下载命令, 通常的运用要领是: “wget 空格+要下载文件的url路径”。比方 : [linux]#wget http://www.test.com/xxxx/xxx.tar.gz其中-c参数, 支持断点续传, 下载大文件时,假如不注意终止了, 能够...
  • WGET超时?

    2021-07-16 16:14:01
    I'm running a PHP script via cron using Wget, with the following command:wget -O - -q -t 1 http://www.example.com/cron/runThe script will take a maximum of 5-6 minutes to do its processing. Will WGet ...
  • 使用Colab对wget下载加速

    千次阅读 2021-10-06 19:35:36
    所以在这里我介绍一下一种巧妙的方法,下载对应的文件。 Google Colab:https://colab.research.google.com/ 其原理就是租用Google的服务器,然后用他们那里的高速下载服务,下载想要的东西,然后从Google的网站上...
  • wget直接下载jdk的方法

    2021-02-28 08:34:03
    JDK下载一直比较变态,在Oracle官方下载的时候还需要登录,这个如果有浏览器的话也没有什么关系了,但是如果在linux命令行下面使用wget的话就比较郁闷了。正好在JavaEye上面一个帖子说了一个方法(见参考资料),这里...
  • 使用wget命令镜像网站

    2021-03-27 08:14:41
    方法wget : 凡是使用linux的肯定知道这个工具,大部分都用作下载工具其实它的功能远不止于此,可以来镜像网站,网站备份等windows下系统是没有这个工具 的,但是可以通过其他的方法使用这个工具。 以下载wget ...
  • 使用wget下载GLDAS数据

    2020-12-24 21:42:50
    为自己做个记录把,每次做了一个实验很久不用就又忘记了。 ... 选择自己需要的要素,如,空气温度,找到你要的数据集,点进去获取数据。... 下载方法选择Get File Subsets using the...wget下载数据方法: win+r打开cmd命令管
  • wget 时提示 -bash:wget command not found,很明显...可以通过以下两种方法来安装:1、rpm 安装rpm 下载源地址:http://mirrors.163.com/centos/6.2/os/x86_64/Packages/下载wget的RPM包:http://mirrors.163.com/c...
  • Linux中WGET下载https链接及WGET命令的详解使用如下的命令下载https链接:```bashwget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password```...
  • 最近使用brew安装wget,报错Download failed: https://homebrew.bintray.com/bottles/infer-0.17.0_1.catalina.bottle.1.tar.gz 导致wget安装失败 在git上查到结局方案是先升级 但是升级过程中会很慢,参考 h...
  • 文章目录[隐藏]1、rpm 安装2、yum安装今天使用DigitalOcean的vps服务器,wget 时提示 -bash:wget command not found.估计是安装的Linux系统, CentOS+7.4+x64wget软件包没有默认被安装。可以通过以下两种方法来安装:...
  • 解决方案:google浏览器粘贴地址,直接下载
  • 首先安装wget命令: 1. 下载mysql的repo源$wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-community-release-el7-5.noarch.rpm包$sudorpm-ivhmysql-community-release-el7-5....
  • 晚上看了Linux下的curl和wget这两个工具,进行了比较和学习。它们的区别,我看到的有如下几点:1.curl是libcurl这个库支持的,wget是一个纯粹的命令行命令。2.curl支持更多的协议。curl supports FTP, FTPS, HTTP,...
  • Wget 部分参数使用小结常用的参数案例1.wget中存在文件,跳过下载2.爬取整站附录:wget - -help 中文版 常用的参数 日志和输入文件: -nv, --no-verbose 关闭详尽输出,但不进入安静模式 -i, --input-file=文件 ...
  • 有时候迫于上传速度的限制,而且使用的是linux系统,windows下载下来的jdk上传到linux服务器会很慢,最好的方式是直接在服务器上下载jdk后直接安装。这里的方式在2017年6月可用,现在Oracle上下来jdk,需要登陆用户...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 125,885
精华内容 50,354
关键字:

wget用法