2.3 wget和curl
wget和curl是两个常用的,基于命令行的文件传输工具软件。这两个工具很类似,但又有所不同。这两个工具都可以通过FTP、HTTP或HTTPS协议来下载内容,通过这两个工具,我们可以模拟客户端向负载均衡发送各种TCP请求,以研究负载均衡对数据包的处理方式和流程。但是,这两个工具实际上也有差别:
- curl支持更多的协议,如:FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP 和 RTSP,而wget仅支持FTP, HTTP, HTTPS。
- curl默认支持HTTP1.1(也支持HTTP1.0),而wget仅支持HTTP1.0(据说最新的wget已经支持HTTP1.1,我们将在后续的测试中进行验证)。
- 网上有很多文章说,二者最关键的区别——在于curl支持libcurl库,而wget纯粹是一个命令行工具。对于这一点,我们并不在乎。
这些命令行工具的使用方法非常简单,但是,要想完全精准的掌握这两个命令的使用方法,其实并不是那么容易。让我们从最简单的命令开始:
代码语言:javascript复制[root@linux-test ~]# curl http://www.baidu.com <!doctype html><html><head><meta http-equiv="Content-Type" content="text/html;charset=gb2312"><title>һ֪title><style>html{overflow-y:auto}body{font:12px arial;text-align:center;background:#fff}body,p,form,ul,li{margin:0;padding:0;list- //...此处省略XXX字符... [root@linux-test ~]# [root@linux-test ~]# wget http://www.baidu.com --2011-09-16 23:05:51-- http://www.baidu.com/ Resolving www.baidu.com... 119.75.217.56, 119.75.218.45 Connecting to www.baidu.com|119.75.217.56|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 8403 (8.2K) [text/html] Saving to: `index.html' 100%[=================================================================================================>] 8,403 --.-K/s in 0s 2011-09-16 23:05:51 (296 MB/s) - `index.html' saved [8403/8403] [root@linux-test ~]#
从上面的两个对比例子可以看出,curl比wget更加符合传统的unix风格,我们可以通过下面的例子,使curl获得与wget相同的输出结果(baidu.html与index.html的内容完全相同):
代码语言:javascript复制[root@linux-test ~]# curl http://www.baidu.com >>baidu.html % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 8403 100 8403 0 0 49023 0 --:--:-- --:--:-- --:--:-- 141k [root@linux-test ~]# ll total 68 -rw------- 1 root root 1608 Sep 16 10:16 anaconda-ks.cfg -rw-r--r-- 1 root root 8403 Sep 16 23:06 baidu.html -rw-r--r-- 1 root root 8403 Sep 16 23:05 index.html -rw-r--r-- 1 root root 15780 Sep 16 10:16 install.log -rw-r--r-- 1 root root 3779 Sep 16 10:16 install.log.syslog [root@linux-test ~]#
但是,这两个命令的请求过程对于服务器来说真的就一样吗?我们看看用wireshark对两个工具访问相同网站的解码过程。下面两张图分别是对wget和curl的HTTP请求的解码。
从上面Wireshark的解码截图,我们可以非常明显的发现,两个命令请求的HTTP请求的头部有很大的区别。
1) wget默认采用HTTP/1.0标准发送请求,而curl则默认采用HTTP/1.1发送请求。
2) 默认的User-Agent不同。
3) wget多了一个Connection: Keep-Alive头。
至于这其中的区别究竟意味着什么,我们将在后续的文章中详细介绍。
有关wget和curl的具体用法,请读者参考互联网上的其它文章或其帮助文件,本文将不再赘述,对于后续文章中用到的一些参数,我们将在使用时再介绍其含义。