精华内容
下载资源
问答
  • wget下载的文件在哪里
    万次阅读 热门讨论
    2019-04-24 09:49:07

    wget是Linux上的一个下载指令
    用法:
    wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

    而要让档案自动储存到指令的目录下,则需要借用-P这个参数
    wget -p 目录 网址
    wget -P /root/download 网址

    更多相关内容
  • wget命令 文件下载

    2021-01-09 19:12:18
    wget非常稳定,它带宽很窄的情况下和不稳定网络中有很强的适应性,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载...
  • 文件下载工具wget.zip

    2021-12-05 14:51:01
    wget是Linux中的一个下载文件的工具, wgetLinux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上。 它用命令行下。 对于Linux用户是必不可少的工具, 尤其对于网络...
  • wget下载文件

    千次阅读 2021-05-10 20:21:32
    一、下载目录#wget -r -np -nd http://example.com/packages/这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np的作用是不遍历父目录,-nd 表示不本机重新创建目录结构。二、下载...

    一、下载目录

    #wget -r -np -nd http://example.com/packages/

    这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,-np

    的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。

    二、下载指定扩展名文件

    #wget -r -np -nd --accept=iso

    http://example.com/centos-5/i386/

    与上一条命令相似,但多加了一个 --accept=iso 选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso

    的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

    三、批量下载

    #wget -i filename.txt

    此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget

    就会自动为你下载所有文件了。

    四、下载单个文件

    #wget -c http://example.com/really-big-file.iso

    这里所指定的 -c 选项的作用为断点续传。

    五、以镜像方式下载整个网站

    #wget -m -k (-H) http://www.example.com/

    该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用 -H 选项。

    六、指定下载目录

    -b wget启动后立即转到后台,如果没有用-o指定outputfile的话,输出被重定向到wget-log中

    -e command 指定需要执行的命令

    -o logfile 所有的信息都输出到logfile中,没有指定的默认输出到stderr

    -a logfile 将输出日志追加到logfile中

    -q 关闭wget的输出

    -v 更详细的输出,默认为-v

    -nv --no-verbose 只输出error 和 basic information

    -i file 从file中读取url,如果file被指定为-,则表示从标准输入读取url

    -F 当url从文件中输入时,强制作为html文件来对待

    -B url 将url添加到相对路径的前面

    --bind-address=ADDRESS 在tcp/ip连接时,绑定在ip

    ADDRESS上,在一台主机有多个ip地址时很有用

    -t number 设定重试次数为number,设为0则表示无穷次测试

    -O file

    下载的所有文件不会自动存储为相应的文件,而是会全部追加到文件file中。如果file被指定为-,则输出到屏幕

    注:-O -k结合使用是为了更快的下载单个文件而设计的。

    -nc --no-clobber wget下载时,如果不指定-nc

    -N或者-r,对同一个文件夹下的同名文件,则会默认下载多个copy,并命名为

    file.1,file.2... 当-nc指定时,wget拒绝再一次下载同一个文件到同一个目录下面(更新的话则会下载覆盖)

    -c 断点续传

    -N 打开时间戳

    -S 打印http服务器返回的headers和ftp服务器返回的responses

    --spider 不下载页面,只是检查页面是否存在

    -T seconds

    设定网络延时为seconds秒,当与网络交互时,wget可以检查timeout,如果延时太长的话会终止操作。默认的超时时间为

    900秒,设为0则永远不会超时。

    --limit-rate=amount 限定下载速度,如--limit-rate=20k

    wget的限速是通过sleep合适的时间来达到限速的目的,在这个调整过程中需要一定的时间,所以在下载小文件的时候不要奇怪

    为什么限速没有很好的起作用呢

    -w seconds 在两次下载之间等待seconds秒,这样减轻了服务器的负载,推荐这样。-w 5m 或1h 或

    2d,分别代表分钟,小时,天

    --waitretry=seconds

    并不是每两次下载之间都等待seconds秒,只是在那些下载失败的重试之间等待(选项默认打开)。

    -Q quota 指定wget自动下载时的限额(默认为bytes,可以指定为k

    m等)注:-Q不会影响到单个文件的下载。但如果递归的下载一个页面

    时,当下载的超过quota时wget会终止

    --no-dns-cache

    关闭dns查找缓存。wget运行时默认是会缓存他从dns找到的ip地址,便于对同一host不用再与dns服务器交互。

    展开全文
  • 主要介绍了Python使用wget实现下载网络文件功能,简单介绍了wget安装以及Python使用wget下载tar格式网络文件并进行解压处理相关操作技巧,需要的朋友可以参考下
  • vue + flask + wget + sqlite3 文件下载,程序跑服务器上,实现随时添加下载任务安装依赖:pip install flaskpip install wget若系统为安装sqlite3,则需手动安装,然后重新编译python完成后python main.py...
  • wget下载文件命令

    千次阅读 2021-11-06 14:36:24
    wget可以从指定的URL上下载文件 wget特点 由于网络原因失败,wget会不断重新尝试下载,直到整个文件下载完成 支持断点续传 支持后台下载 主要命令 下载单个文件——以下载minicoda为例 wget ...

    wget命令

    wget可以从指定的URL上下载文件

    wget特点

    • 由于网络原因失败,wget会不断重新尝试下载,直到整个文件下载完成
    • 支持断点续传
    • 支持后台下载

    主要命令

    下载单个文件——以下载minicoda为例

    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    URL中以文件名结尾,会默认保存为该文件名
    重命名下载

    wget -O miniconda.sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    限速下载——wget默认占用全部带宽

    wget --limit-rate==300k https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    断点续传

    wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    后台下载

    wget -b https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    下载进度被写入wget-log中,使用以下命令查看

    tail -f wget-log
    

    伪装浏览器下载

    wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    

    下载多个文件

    wget -i urlList.txt
    
    > cat urlList.txt
    url1
    url2
    url3
    url4
    

    按格式下载

    下载指定格式

    wget -r -A.pdf url
    

    过滤指定格式

    wget --reject=png url
    

    FTP下载

    匿名FTP下载

    wget ftp-url
    

    认证FTP下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD url
    
    展开全文
  • python wget下载文件

    千次阅读 2020-11-24 00:26:20
    c 断点续传-t NUMBER 最大尝试连接次数(--tries=NUMBER)-T SECONDS 响应超时秒数 (--timeout=SECONDS)-P PREFIX 将文件保存目录(--directory-prefix=PREFIX)转载:wget是一个从网络上自动下载文件的自由工具。...

    import os

    os.system('wget '+args)

    wget常用参数

    -c 断点续传

    -t NUMBER 最大尝试连接次数(--tries=NUMBER)

    -T SECONDS 响应超时秒数 (--timeout=SECONDS)

    -P PREFIX 将文件保存在目录(--directory-prefix=PREFIX)

    转载:

    wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.

    所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

    wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作"递归下载"。在递归下载的时候,wget 遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

    wget 非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

    wget的常见用法

    wget虽然功能强大,但是使用起来还是比较简单的,

    基本的语法是:wget [参数列表] "URL" 用""引起来可以避免因URL中有特殊字符造成的下载出错。

    下面就结合具体的例子来说明一下wget的用法。

    1、下载整个http或者ftp站点。

    wget http://place.your.url/here

    这个命令可以将http://place.your.url/here 首页下载下来。使用-x会强制建立服务器上一模一样的目录,如果使用-nd参数,那么服务器上下载的所有内容都会加到本地当前目录。

    wget -r http://place.your.url/here

    这个命令会按照递归的方法,下载服务器上所有的目录和文件,实质就是下载整个网站。这个命令一定要小心使用,因为在下载的时候,被下载网站指向的所有地址同样会被下载,因此,如果这个网站引用了其他网站,那么被引用的网站也会被下载下来!基于这个原因,这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层,那么使用-l 2。

    要是您想制作镜像站点,那么可以使用-m参数,例如:wget -m http://place.your.url/here

    这时wget会自动判断合适的参数来制作镜像站点。此时,wget会登录到服务器上,读入robots.txt并按robots.txt的规定来执行。

    2、断点续传。

    当文件特别大或者网络特别慢的时候,往往一个文件还没有下载完,连接就已经被切断,此时就需要断点续传。wget的断点续传是自动的,只需要使用-c参数,例如:

    wget -c http://the.url.of/incomplete/file

    使用断点续传要求服务器支持断点续传。-t参数表示重试次数,例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。-T参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。

    3、批量下载。

    如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt

    这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载首页)

    4、选择性的下载。

    可以指定让wget只下载一类文件,或者不下载什么文件。例如:

    wget -m --reject=gif http://target.web.site/subdirectory

    表示下载http://target.web.site/subdirectory,但是忽略gif文件。--accept=LIST 可以接受的文件类型,--reject=LIST拒绝接受的文件类型。

    5、密码和认证。

    wget只能处理利用用户名/密码方式限制访问的网站,可以利用两个参数:

    --http-user=USER设置HTTP用户

    --http-passwd=PASS设置HTTP密码

    对于需要证书做认证的网站,就只能利用其他下载工具了,例如curl。

    6、利用代理服务器进行下载。

    如果用户的网络需要经过代理服务器,那么可以让wget通过代理服务器进行文件的下载。此时需要在当前用户的目录下创建一个.wgetrc文件。文件中可以设置代理服务器:

    http-proxy = 111.111.111.111:8080

    ftp-proxy = 111.111.111.111:8080

    分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用:

    --proxy-user=USER设置代理用户

    --proxy-passwd=PASS设置代理密码

    这两个参数。

    使用参数--proxy=on/off 使用或者关闭代理。

    wget还有很多有用的功能,需要用户去挖掘。

    wget的使用格式

    Usage: wget [OPTION]... [URL]...

    * 用wget做站点镜像:

    wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/

    # 或者

    wget -m http://dsec.pku.edu.cn/~usr_name/

    * 在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载

    wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

    # 或者从filelist读入要下载的文件列表

    wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &

    上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在晚上要出去系统前执行上面代码的第二条。

    * 使用代理下载

    wget -Y on -p -k https://sourceforge.net/projects/wvware/

    代理可以在环境变量或wgetrc文件中设定

    # 在环境变量中设定代理

    export PROXY=http://211.90.168.94:8080/

    # 在~/.wgetrc中设定代理

    http_proxy = http://proxy.yoyodyne.com:18023/

    ftp_proxy = http://proxy.yoyodyne.com:18023/

    wget各种选项分类列表

    * 启动

    -V,  --version           显示wget的版本后退出

    -h,  --help              打印语法帮助

    -b,  --background        启动后转入后台执行

    -e,  --execute=COMMAND   执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc

    * 记录和输入文件

    -o,  --output-file=FILE     把记录写到FILE文件中

    -a,  --append-output=FILE   把记录追加到FILE文件中

    -d,  --debug                打印调试输出

    -q,  --quiet                安静模式(没有输出)

    -v,  --verbose              冗长模式(这是缺省设置)

    -nv, --non-verbose          关掉冗长模式,但不是安静模式

    -i,  --input-file=FILE      下载在FILE文件中出现的URLs

    -F,  --force-html           把输入文件当作HTML格式文件对待

    -B,  --base=URL             将URL作为在-F -i参数指定的文件中出现的相对链接的前缀

    --sslcertfile=FILE     可选客户端证书

    --sslcertkey=KEYFILE   可选客户端证书的KEYFILE

    --egd-file=FILE        指定EGD socket的文件名

    * 下载

    --bind-address=ADDRESS   指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)

    -t,  --tries=NUMBER           设定最大尝试链接次数(0 表示无限制).

    -O   --output-document=FILE   把文档写到FILE文件中

    -nc, --no-clobber             不要覆盖存在的文件或使用.#前缀

    -c,  --continue               接着下载没下载完的文件

    --progress=TYPE          设定进程条标记

    -N,  --timestamping           不要重新下载文件除非比本地文件新

    -S,  --server-response        打印服务器的回应

    --spider                 不下载任何东西

    -T,  --timeout=SECONDS        设定响应超时的秒数

    -w,  --wait=SECONDS           两次尝试之间间隔SECONDS秒

    --waitretry=SECONDS      在重新链接之间等待1...SECONDS秒

    --random-wait            在下载之间等待0...2*WAIT秒

    -Y,  --proxy=on/off           打开或关闭代理

    -Q,  --quota=NUMBER           设置下载的容量限制

    --limit-rate=RATE        限定下载输率

    * 目录

    -nd  --no-directories            不创建目录

    -x,  --force-directories         强制创建目录

    -nH, --no-host-directories       不创建主机目录

    -P,  --directory-prefix=PREFIX   将文件保存到目录 PREFIX/...

    --cut-dirs=NUMBER           忽略 NUMBER层远程目录

    * HTTP 选项

    --http-user=USER      设定HTTP用户名为 USER.

    --http-passwd=PASS    设定http密码为 PASS.

    -C,  --cache=on/off        允许/不允许服务器端的数据缓存 (一般情况下允许).

    -E,  --html-extension      将所有text/html文档以.html扩展名保存

    --ignore-length       忽略 `Content-Length'头域

    --header=STRING       在headers中插入字符串 STRING

    --proxy-user=USER     设定代理的用户名为 USER

    --proxy-passwd=PASS   设定代理的密码为 PASS

    --referer=URL         在HTTP请求中包含 `Referer: URL'头

    -s,  --save-headers        保存HTTP头到文件

    -U,  --user-agent=AGENT    设定代理的名称为 AGENT而不是 Wget/VERSION.

    --no-http-keep-alive  关闭 HTTP活动链接 (永远链接).

    --cookies=off         不使用 cookies.

    --load-cookies=FILE   在开始会话前从文件 FILE中加载cookie

    --save-cookies=FILE   在会话结束后将 cookies保存到 FILE文件中

    * FTP 选项

    -nr, --dont-remove-listing   不移走 `.listing'文件

    -g,  --glob=on/off           打开或关闭文件名的 globbing机制

    --passive-ftp           使用被动传输模式 (缺省值).

    --active-ftp            使用主动传输模式

    --retr-symlinks         在递归的时候,将链接指向文件(而不是目录)

    * 递归下载

    -r,  --recursive          递归下载--慎用!

    -l,  --level=NUMBER       最大递归深度 (inf 或 0 代表无穷).

    --delete-after       在现在完毕后局部删除文件

    -k,  --convert-links      转换非相对链接为相对链接

    -K,  --backup-converted   在转换文件X之前,将之备份为 X.orig

    -m,  --mirror             等价于 -r -N -l inf -nr.

    -p,  --page-requisites    下载显示HTML文件的所有图片

    * 递归下载中的包含和不包含(accept/reject)

    -A,  --accept=LIST                分号分隔的被接受扩展名的列表

    -R,  --reject=LIST                分号分隔的不被接受的扩展名的列表

    -D,  --domains=LIST               分号分隔的被接受域的列表

    --exclude-domains=LIST       分号分隔的不被接受的域的列表

    --follow-ftp                 跟踪HTML文档中的FTP链接

    --follow-tags=LIST           分号分隔的被跟踪的HTML标签的列表

    -G,  --ignore-tags=LIST           分号分隔的被忽略的HTML标签的列表

    -H,  --span-hosts                 当递归时转到外部主机

    -L,  --relative                   仅仅跟踪相对链接

    -I,  --include-directories=LIST   允许目录的列表

    -X,  --exclude-directories=LIST   不被包含目录的列表

    -np, --no-parent                  不要追溯到父目录

    问题

    在递归下载的时候,遇到目录中有中文的时候,wget创建的本地目录名会用URL编码规则处理。如"天网防火墙"会被存为"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",这造成阅读上的

    展开全文
  • ubuntu利用wget下载文件

    2022-05-30 13:38:14
    ubuntu利用wget下载文件
  • windows平台上使用wget下载文件

    千次阅读 2021-07-08 14:38:02
    (1) 如下地址中下载好和自身电脑匹配的文件,例如32位/64位 https://eternallybored.org/misc/wget/ (2)解压后将wget.exe放至 C:\Windows\System32 二 下载过程 (1)打开cmd 输入wget 验证是否安装成功 出现...
  • wget 命令下载网络文件到指定目录

    千次阅读 2021-12-01 19:22:28
    linux wget命令 下载网络文件
  • wget 下载文件出错

    2022-01-12 11:17:38
    sh脚本中使用wget命令下载文件。 data_URL="http://xxx" wget -P source/token $data_URL/${source}.en.token 2.报错 报错详情: ERROR: cannot verify data.statmt.org's certificate, issued by ‘CN=R3...
  • 资源下载的尴尬时刻有时候人天朝确实好难下载到墙外的资源(抓头发),好比说我今天忍不住买了一个付费插件,挂了V P N下载,愣是一直卡0.1MB/6MB,更要命的是有时卡95%/100%,然而开google网页秒开,无解……...
  • wget下载方法

    千次阅读 2022-06-29 10:41:52
    wget下载方法
  • python代替wget下载文件

    2022-08-03 10:15:59
    使用py下载http文件
  • 观察这个链接地址,我们发现下载地址的文件名就?的前面,所以只需要split字符串提取文件名即可。...Qt里面使用wget下载文件,只需要一个命令即可。经常遇到这样的地址,后缀没有zip,tar等扩展格式。...
  • inux系统中的wget是一个下载文件的工具,它用命令行下。wget支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。所谓的自动下载是指,wget可以用户退出系统的之后后台执行。wget 非常稳定,它带宽很窄的情况下和...
  • wget非常稳定,它带宽很窄的情况下和不稳定网络中有很强 的适应性,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务 器打断下载过程,它会再次联到服务器上从停止的地方继续...
  • 命令格式: wget [参数] [URL地址]
  • Linux使用wget下载文件时报错

    千次阅读 2021-11-19 09:36:25
    远程调用下载文件直接用wget就可以,一般文件路径类型是http,如果有遇到是https就会下载出错。 解决办法: 只需要在wget后面加上: –no-check-certificate 就可以,需要一个认证下载指令而已。 命令如下: wget ...
  • wget下载谷歌云盘文件

    千次阅读 2022-02-04 16:59:15
    获取链接 会得到这么一个类似的链接,1-OuA4dduuZxu0tRstzE6ct6uI7EY6...如果是小文件,我们可以执行下面的命令来下载wget --no-check-certificate ‘https://docs.google.com/uc?export=download&id=FILEID’ -
  • wget批量下载文件

    2021-07-08 23:28:09
    9、wget -i 下载多个文件 首先,保存一份下载链接文件 接着使用这个文件和参数 -i 下载 10、wget -mirror 镜像网站
  • wget下载实例

    2022-06-08 09:06:53
    linux下wget小工具下载文件
  • wget下载文件到指定目录

    万次阅读 2020-09-25 20:10:58
    如果不指定下载目录,那么文件将被下载到当前目录。 命令格式:wget 网址 wget https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm #指定下载目录 命令格式:wget -p 目录 网址 wget -P /home/...
  • windows wget.exe免费下载

    2022-02-07 17:58:40
    windows wget.exe免费下载
  • 在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。 wget -np -nH -r –span-hosts www.xianren.org/pub/path/ -c 断点续传 -r 递归下载下载指定网页某一目录下(包括子目录)的所有文件 -nd ...
  • Linux服务器上使用wget下载文件

    千次阅读 2020-02-26 16:24:22
    1.一般大多数文件使用wget直接下载即可 命令如下 wget -c 网络地址 默认下载到root文件夹下 -b:后台下载Wget默认的是把文件下载到当前目录。 -O:将文件下载到指定的目录中。 -P:保存文件之前先创建指定名称...
  • 举例:下载所有的RPM包(文件的扩展名为rpm) wget -c -r -np -k -L -p -A rpm http:XXX/ 其中各参数意义可通过wget -h查看,如下: wget -h ... -c, --continue resume getting a partially-downloaded file -r, --...
  • wget下载网络资源

    千次阅读 2022-01-21 16:06:55
    windows使用wget下载文件 windows下载:https://sourceforge.net/projects/gnuwin32/files/. 1)下载压缩包安装(如下图点击下载) 2) 配置环境变量 3)测试 使用该命令下载链接 wget简介 wget是一个下载文件的工具...
  • wget下载数据

    2022-09-07 18:53:01
    wget下载数据

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 370,298
精华内容 148,119
关键字:

wget下载的文件在哪里