精华内容
下载资源
问答
  • wget下载整个网站

    2011-06-10 16:56:00
    wget下载整个网站(linux,windows,OS X下的同样类型软件竟然叫“SiteSucker) 2007-02-05 00:43 wget下载整个网站 可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会...
    wget下载整个网站(linux,windows,OS X下的同样类型软件竟然叫“SiteSucker)
    2007-02-05 00:43

    wget下载整个网站

    可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
    另外还有其他的一些参数可以使用:

    -c表示断点续传

    -t 100表示重试100次,-t 0表示无穷次重试

    另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.

    --reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

    可以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数 --proxy-user=username, --proxy-passwd=password

    转载于:https://www.cnblogs.com/timke212004/archive/2011/06/10/2077794.html

    展开全文
  • wget下载整个网站或目录

    分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow

    也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

                   

     原贴:http://jnote.cn/blog/shell/wget-download.html

    wget下载整个网站或目录

     

    用wget下载东西,的确很方便,它会自动重连并断点续传。让人很放心。
    经常要下载一个网站或网站的某个目录。

    将wget命令放到这里备用:
    下载一个目录,例如网站的yourdir
    wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;GTB5)" -r -p -k -np -Pmydir -nc -o down.loghttp://www.yourdomain.com/yourdir/index.html
    如果要想下载整个网站,最好去除-np参数。
    wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc -o down.log http://www.yourdomain.com/index.html
    -U   修改agent,伪装成IE货firefox等
    -r递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递归深度由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。
    -c    指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才需要指定此参数。
    -nc  不下载已经存在的文件
    -np  表示不跟随链接,只下载指定目录及子目录里的东西;
    -p   下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下载。
    -k    修复下载文件中的绝对连接为相对连接,这样方便本地阅读。

     

               

    给我老师的人工智能教程打call!http://blog.csdn.net/jiangjunshow

    这里写图片描述
    展开全文
  • wget 下载整个网站

    千次阅读 2005-05-02 22:44:00
    1:wget -r -np -k 网站链接例如:wget -r -np -k http://www.textfiles.com/2:制定文件类型wget -r -np -k -A txt,png,pdf,jpg (你可以自己定) 网站链接
    1:
    
    wget -r -np -k 网站链接
    例如:
    wget -r -np -k http://www.textfiles.com/

    2:
    制定文件类型
    wget -r -np -k -A txt,png,pdf,jpg (你可以自己定) 网站链接
    展开全文
  • Linux 如何使用 wget 下载整个网站近期要去缅甸呆半个月,想顺便把 W3SCHOOL.COM 上面的 HTML/CSS/JS/PHP 教程温习一遍。但是有一个问题,缅甸的网速很慢,我们住的酒店 wifi 不稳定,今年 1 月份和 6 月份我也在...

    Linux 如何使用 wget 下载整个网站

    近期要去缅甸呆半个月,想顺便把 W3SCHOOL.COM 上面的 HTML/CSS/JS/PHP 教程温习一遍。但是有一个问题,缅甸的网速很慢,我们住的酒店 wifi 不稳定,今年 1 月份和 6 月份我也在缅甸胶漂岛呆过,特别怀念我国的 4g 网络。所以,这次无论如何我要把 W3SCHOOL.COM 的内容离线下载下来。

    wget 是用于从网站下载资源的 linux 命令,基本用法是 wget url:

    wget http://www.w3schools.com/
    • 1

    一般来说,网站的页面会有很多链接,点击之后可以链接到其他页面,其他页面也可能有链接,就这样一级一级链接下去,如果要把这些所有关联的页面都下载下来,用法是:

    wget -r http://www.w3schools.com/
    • 1

    但是大部分网站不允许你下载所有网站的内容,如果网站检测不到浏览器标识,会拒绝你的下载连接或者给你发送回一个空白网页。这个时候在 wget 后面加上 user-agent 就可以:

    wget -r -p -U Mozilla http://www.w3schools.com/
    • 1

    为了避免被网站加入黑名单,我们可以限制下载的速度以及两次下载之间的等待时间:

    wget --wait=20 --limit-rate=20K -r -p -U Mozilla http://www.w3schools.com/
    • 1

    如何只是想下载特定文件夹下的网页,使用 --no-parent:

    //只下载 `/js` 下的所有页面
    wget --wait=20 --limit-rate=20K --no-parent -r -p -U Mozilla http://www.w3schools.com/js/default.asp
    • 1
    • 2

    更多内容请参考 GNU Wget Manual

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/github_37483541/article/details/54955425
    展开全文
  • 使用wget下载整个网站

    2020-01-09 09:57:59
    原创链接 wget是linux gun工具链中的一个,用以接受网络文件(HTTP、FTP) ...windows版安装文件可以从SourceForge下载:https://sourceforge.net/projects/gnuwin32/files/wget/1.11.4-1/,下载其中&nbs...
  • Wget下载整个网站

    千次阅读 2015-09-27 19:01:13
    原文地址: ... 也许你曾需要下载整个站点,比如是想离线浏览其内容,wget可以完成这项工作。比如: $ wget \ --recursive \ --no-clobber \ --page-requisites \
  • wget 下载整个网站,或者特定目录需要下载某个目录下面的所有文件。命令如下wget -c -r -np -k -L -pwww.xxx.org/pub/path/在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。wget -np -nH -r -...
  • wget下载整个网站

    2009-05-13 09:03:24
    wget下载整个网站 可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会...
  • Linux下用wget下载整个网站wget -r -p -np -k urlRelated PostsOctober 5, 2008 --还原迅雷的url(0)November 7, 2009 --Xmarks同步到自己的地盘(0)August 25, 2008 --gperiodic:元素周期表(...
  • wget下载整个网站 可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会...
  • wget下载整个网站或特定目录

    万次阅读 2018-07-06 11:57:24
    需要下载某个目录下面的所有文件。命令如下wget -c -r -np -...wget -np -nH -r --span-hosts www.xxx.org/pub/path/-c 断点续传-r 递归下载下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建...
  • wget下载整个网站到本地(windows)

    千次阅读 2019-10-24 15:05:16
    wget加上参数之后,即可成为相当强大的下载工具。 wget命令详解 wget -r -p -np -k http://xxx.com/xxx -r, --recursive(递归) specify recursive download.(指定递归下载) -k, --convert-links(转换链接)...
  • 如何用wget下载整个网站

    千次阅读 2015-01-07 14:27:53
    如何下载整个网站 wget --mirror -p --html-extension --convert-links -e robots=off -P . http://url-to-site
  • Wget下载整个网站(包含图片/JS/CSS)

    万次阅读 2017-11-01 09:51:51
    我会向你展示10个 Wget 命令的实际案例. Wget 是一个用于下载... Wget 有很多功能,可以很方便地做到下载大型文件,递归下载,一次下载多个文件以及镜像web网站和FTP站点.Wget是非交互式的,但是使用起来相当的灵活. 你

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 33,474
精华内容 13,389
关键字:

wget下载整个网站