网站建设资讯

NEWS

网站建设资讯

curl命令和wget命令-创新互联

curl:
curl 是强大的URL传输工具,这个命令最常用的功能就是通过命令行发送http请求以及下载文件,比如模拟refer(从那个页面跳转过来)、cookie、agent(使用什么浏览器)等,同时还能够模拟表单数据。

创新互联自2013年起,先为谢通门等服务建站,谢通门等地企业,进行企业商务咨询服务。为谢通门企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

curl命令选项:
-i: 显示头部信息
-I:只显示头部信息,不显示正文
-X:指定请求方法,比如GET\POST等
--from:模拟表单,利用这个参数可以上传文件、模拟点击按钮等
-A:指定用户代理,比如Mozilla/4.0
-b:设置cookie
-c:指定cookie文件
-e:指定referer,有些网址必须从某个页面跳转过去
--header:设置请求头部信息
--user:有些页面需要http认证,传递name:passwd认证

curl -X POST -d "*****"

使用重定向“>” 符号将输出重定向到本地文件中
curl http://www.jd.com >index.html
也可以通过curl自带的-o/-O选项将内容保存到文件中
-o(小写的o):结果被保存到命令行中提供的文件名
curl -o index.html http://www.jd.com
-O(大写的O):URL中的文件名会被用作保存文件到本地
curl https://cache.yisu.com/upload/information/20200309/28/2481 -O

续传:当文件下载之前结束该进程,通过日俺家-C选项继续对该文件进行下载,已下载的文件不会被重复下载。

--limit-rate: 对curl限速
curl --limit-rate 1024B http://www.jd.com

对文件的最后修改时间进行判断,如果该文件在指定日期内修改过,就进行下载,否则不下载,该功能通过-z实现:比如若a.html文件在2019/12/28之后有过更新才会进行下载。
curl -z 21-Dec-18 http://www.a.com/a.html

当通过浏览器打开链接是,会自动跳转http://www.jd.com 此时我们想要curl做的像浏览器一样跟随链接的跳转,获取最终的网页内容。可以在命令中添加-L选项来跟随衔接重定向。
curl -L http://www.jd.com

wget命令
wget是一个文件下载工具,他用在命令行下,支持断点下载功能,同时支持ftp和http下载方式。支持代理服务器和设置起来方便简单。

wget -c:断点续传使用
wget -b:后台下载
wget --spider URL :测试下载链接是否有效
wget ftp-url :使用wget完成ftp链接的下载,匿名ftp下载类似于http下载
wget --ftp-user=name --ftp-password=passwd url:使用wget用户名和密码认证的ftp下载
wget -Q:限制总下载文件大下
下载文件超过10MB而退出下载
wget -Q10m -i iso_limit.txt

下载单个文件:
wget http://www.jd.com/a.iso

当下载的文件名太长不方便运维人员操作,可以自定义文件名,可以使用”-O“来指定一个文件名:
wget -O Centos-7.iso http://www.jd.com/a.iso
把下载信息存入到日志:wget -o
wget -o a.log URL

使用--limit-rate限速下载:
wget -O Centos-7.iso --limit-rate=600k http://www.jd.com/a.iso

使用wget做网站镜像:
wget --mirror -p --convert-links -p ./local url
--mirror :设置这个参数用来建设本地镜像
-p:下载所有html文件适合显示的元素
--convert-links:下载完成之后,将文档链接都转换成本地的
-P ./local :保存所有的文件和目录到指定文件夹下

下载站点时,不打算下载gif动画图片
wget --reject=gif url

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章标题:curl命令和wget命令-创新互联
网站链接:http://cdweb.net/article/hehoh.html