命令行软件下载神器wget,你会用吗
1、功能说明
Linux wget是一个linux命令行下的文件下载工具。对于Linux运维人员来说,是必备的工具,wget工具体积小,但功能完善,它支持断点下载功能,同时支持FTP和HTTP、HTTPS下载方式,支持代理服务器,使用起来也很方便简单。其格式如下:wget [要下载软件的网址]
2.wget实战举例
(1)使用wget下载单个文件
以下的例子是从网络下载一个linux-4.0.2版本内核,可以使用以下命令wget https://mirrors.edge.kernel.org/pub/linux/kernel/v4.x/linux-4.14.100.tar.gz
在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。
(2)使用wget下载文件并以不同的文件名保存
这要通过wget -O参数实现,wget默认会以url最后一个符号"/"的后面的字符来命名,这对于动态链接的下载文件名通常会不正确。 例如下面的URL:
http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror
通过wget下载后,会下载一个名为mirror的文件,为了解决这个问题,我们可以使用参数-O来指定一个文件名:wget -O php-7.3.2.tar.bz2 http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror
(3)使用wget 的"-limit -rate"参数进行限速下载
当我们执行wget的时候,它默认会占用全部可能的宽带下载。但是当我们准备在线上服务器下载一个大文件时,为了不让wget耗尽带宽影响业务,就必须对wget进行限速了。wget --limit-rate=1M http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
这是限速1MB/s进行传输。
(4)使用wget -c断点续传
当我们要下载的文件特别大,而我们所在的网络速度又特别慢的时候,可能会出现一个文件还没有下载完,而网络就已经中断了的情况,此时如果没有断点续传功能,又要重新下载,这简直是噩梦,但wget就考虑到这点了,它支持断点续传,并且wget的断点续传是自动的,只需要使用-c参数即可,看下图操作:
断点续传对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。
需要注意的是:使用断点续传要求服务器端支持断点续传。怎么测试呢,看下面这这个部分。
(5)测试服务器是否支持断点续传
通常情况下,Web服务器(如Apache、nginx)会默认开启对断点续传的支持。因此,如果直接通过Web服务器来提供文件的下载,可以不必做特别的配置,即可享受到断点续传的好处。断点续传是在发起HTTP请求的时候加入RANGE头来告诉服务器客户端已经下载了多少字节。等所有这些请求都返回之后,再把得到的内容一块一块的拼接起来得到完整的资源。wget -S http://mirrors.163.com 2>&1 |grep "Accept-Ranges" wget -S https://mirrors.aliyun.com/centos/timestamp.txt 2>&1|grep Ranges
输出结果中如果有"Accept-Ranges: bytes",说明服务器支持按字节断点续传下载。
(6)让wget在后台自动下载
对于下载非常大的文件的时候,我们可以使用参数"-b",让wget进行后台下载。看下图所示:
我们可以使用"tail -f wget-log"命令来察看下载进度。
(7)给wget下载增加重试次数和超时时间
如果网络有问题或下载一个大文件有可能会失败。此时,wget默认重试20次连接下载文件。如果需要,我们可以使用"-t/--tries"增加重试次数。 同理,还可以使用"-T/ --timeout"设置连接超时时间。
其中"-t"参数表示重试次数,例如需要重试10次,那么就写"-t 10",如果设成"-t 0",那么表示无穷次重试,直到连接成功。"-T"参数表示超时等待时间,例如"-T 120",表示等待120秒连接不上就算超时。 来看下图:
(8)使用wget 批量下载多个文件
有时候要下载的文件很多,怎么实现批量下载呢,很简单,首先,保存一份下载文件链接的列表, 例如:cat > filelist.txt url1 url2 url3 url4
接着使用这个文件和参数"i"即可实现批量下载 ,看下图操作:
(9)使用wget递归镜像网站
看到一个网站很漂亮,想下载下来学习一下,无奈页面太多,怎么办,wget一个命令就能轻松搞定,wget加上参数之后,即可成为相当强大的下载工具,并可以将下载的页面中的链接转换为本地链接,让你瞬间拥有一个想要的网站。
下面的例子是下载整个网站到本地的当前目录下:wget -r -p -np -k http://www.xxx.com
其中,用到了几个参数,含义如下:
-r, --recursive:表示递归下载页面,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,那么wget也会把别的网站的东西下载下来,所以还要加上"-np"这个参数,表示不下载别的站点的链接。
-np,表示不下载第三方站点的链接。
-k, --convert-links:表示将下载的网页里的链接修改为本地链接。
-p, --page-requisites: 表示下载所有的图片、js、css等页面显示所需的内容元素。
(10)通过wget下载文件到指定目录
在进行编写运维自动化脚本的时候,会有自动下载文件到指定目录的需求,此时就需要用到wget的"-P"参数,通过指定"-P"参数可以下载文件到指定目录,例如:[root@iZ23sl33esbZ ~]# wget http://mirrors.163.com/centos/timestamp.txt -P /tmp/
这样下载的文件timestamp.txt会自动保存到系统的/tmp目录下。
唯一的共同点,刘邦和项羽公元前202年,长达四年的楚汉争霸结束了,西楚霸王项羽,经历了泪别虞姬,四面楚声,不渡乌江,最终死于垓下,年仅31。而汉高祖刘邦自建立了大汉王朝,由于剿灭异姓王英布,在亲征期间被英
爱新觉罗氏竟是赵匡胤后代?大宋是大清的祖宗?这到底是不是真的引言清朝作为中国历史上最后一个封建王朝,其本身也存在诸多为人们所争议的问题。有些人认为清朝这个时期算得上是奠定了现在中国版图的基础,也有一些人认为清朝的存在让中国的发展受到了巨大的
去有风的地方许红豆不知道她的没资格痛苦是因为太愧疚30多岁的许红豆面对闺蜜的骤然离世,无法释怀,她不敢表露太多伤心,太多痛苦,因为她觉得自己没有资格。1没有资格痛苦最好的朋友,她的离开对我的生活来讲,也没有任何的改变啊,我还是一样
中国最美的15个地方中国幅员辽阔,东西南北分布着多样的景观,包括山河湖草原森林梯田和静镇。但是,对于游客来说,选择其中一些作为旅游目的地可能并不容易。好吧,我们推荐美丽的地方,如色彩缤纷的九寨沟国家公
市民问政记者调查惠民迎新春,市民期待更多免费游来源金华日报金华新闻网金华新闻客户端1月14日消息记者张海滨文摄随着金东区施光南音乐广场上福满金华主题花灯的试亮灯,我市的春节氛围越来越浓。惠民迎新春,我市准备了哪些优惠活动?市民
再添一个国家级!四川这个地方上榜日前在新公布的15家国家级旅游度假区中宜宾蜀南竹海旅游度假区上榜!这是本次四川省唯一入选的旅游度假区奇篁异筠的竹景翠甲天下的竹海一起来到蜀地川南与竹共舞吧图源视觉中国位于宜宾市长宁
劳塔罗闪击,国际米兰一球小胜维罗纳文羊城晚报全媒体记者刘毅世界杯上的阿根廷前锋劳塔罗和国际米兰的劳塔罗,仿佛是两个人。北京时间1月15日凌晨在意甲第18轮比赛中,劳塔罗闪击进球,帮助国米在主场以1比0小胜排名倒数第
利拉德今晚我们取得大胜要归功于全队流畅的分享球今日,NBA常规赛开拓者136119击败独行侠。赛后,开拓者球星利拉德接受了记者采访。利拉德谈到了球队本场比赛有34次助攻我们绝对有能力打出这样的比赛,我们本赛季开始就这么打球了,
2换1!火箭为了补强控卫,戈登要离开火箭了火箭队遭遇国王双杀,迎来了一波八连败,牢牢的锁住了全联盟垫底的位置。上赛季火箭队取得了20胜62负的战绩,从目前的情况来看火箭本赛季的战绩也不会好到哪里去。但是即使火箭连续三个赛季
哈姆AD做了半场轻量训练,里夫斯沃克还需通过一两项测试湖人主帅达尔文哈姆在今日训练后接受了采访。当被问到安东尼戴维斯是否开始了全场训练,哈姆说不,他只是进行了最轻量的训练,他做了半场训练。不过,他的移动情况很好,他感觉不错,我们也很兴
窗外窗外纷纷掠过的是一串串的日子转瞬之间明天变成了今天今天又成了昨天不曾停息日复一日再过几天又是一年即使我们悠闲地睡着懒觉亦或是优雅的品着茶或者是日以继夜在劳作时光的列车每时每刻搭载着