搞dongWeb基础 看这一篇就够了!

1准备好了么, 上车了

在成为一个爬虫高手之前, 除了要掌握NB的反爬技术之外, 更需要知道一些必备基础知识

2HTTP

全称

HyperText Transfer Protocol（超文本传输协议，简称 HTTP)

简介(来自于百度百科):

  万维网WWW（world wide web）发源于欧洲日内瓦量子物理实验室CERN，正是WWW技术的出现使得因特网得以超乎想象的速度迅猛发展。这项基于TCP/IP的技术在短短的十年时间内迅速成为已经发展了几十年的Internet上的规模最大的信息系统，它的成功归结于它的简单、实用。在WWW的背后有一系列的协议和标准支持它完成如此宏大的工作，这就是Web协议族，其中就包括HTTP超文本传输协议。

  在1990年，HTTP就成为WWW的支撑协议。当时由其创始人WWW之父蒂姆·贝纳斯·李（TimBemers—Lee）提出，随后WWW联盟（WWW Consortium）成立，组织了IETF（Internet Engineering Task Force）小组进一步完善和发布HTTP协议

  HTTP是应用层协议，同其他应用层协议一样，是为了实现某一类具体应用的协议，并由某一运行在用户空间的应用程序来实现其功能。HTTP是一种协议规范，这种规范记录在文档上，为真正通过HTTP协议进行通信的HTTP的实现程序。

  HTTP协议是基于C/S架构进行通信的，而HTTP协议的服务器端实现程序有httpd、nginx等，其客户端的实现程序主要是Web浏览器，例如Firefox、InternetExplorer、Google chrome、Safari、Opera等，此外，客户端的命令行工具还有elink、crul等。Web服务是基于TCP的，因此为了能够随时响应客户端的请求，Web服务器需要监听在80/TCP端口。这客户端浏览器和Web服务器之间就可以通过HTTP协议进行通信了。

请求方法

• GET：获取资源
• POST：传输实体主体
• PUT：传输文件
• HEAD：获得报文首部（请求头和响应头）
• DELETE：删除文件

HTTP状态码

常见状态码

• 200 - 请求成功
• 301 - 资源（网页等）被永久转移到其它URL
• 404 - 请求的资源（网页等）不存在
• 500 - 内部服务器错误

状态码分类

1xx:

2xx

3xx

4XX

5xx

3HTTPS

全称

Hyper Text Transfer Protocol over SecureSocket Layer

与http的区别

  HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性 。HTTPS 在HTTP 的基础下加入SSL 层，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。HTTPS 存在不同于 HTTP 的默认端口及一个加密/身份验证层(在 HTTP与 TCP 之间)

4URL组成

简介

  统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。

格式

  基本URL包含模式（或称协议）、服务器名称（或IP地址）、路径和文件名，如“协议://授权/路径?查询”。完整的、带有授权部分的普通统一资源标志符语法看上去如下：

协议://用户名:密码@子域名.域名.顶级域名:端口号/目录/文件名.文件后缀?参数=值#标志

5Requests Headers

Host

请求报头域主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的

使用缺省端口号80 Host:www.baidu.com 指定端口号 Host:www.baidu.com:8888

Connection

表示是否需要持久连接。如果Servlet看到这里的值为“Keep-Alive”，或者看到请求使用的是HTTP 1.1（HTTP 1.1默认进行持久连接），它就可以利用持久连接的优点，当页面包含多个元素时（例如Applet，图片），显著地减少下载所需要的时间。要实现这一点，Servlet需要在应答中发送一个Content-Length头，最简单的实现方法是：先把内容写入ByteArrayOutputStream，然后在正式写出内容之前计算它的大小。

Connection: Keep-Alive 完成本次请求的响应后，保持连接，等待本次连接的后续请求, Keep-Alive:30 则是保持请求至少30(s) Connection: close 在完成本次请求的响应后，断开连接，不要等待本次连接的后续请求了

Upgrade-Insecure-Requests

浏览器可以成功处理https资源，也就是我能读懂你服务器发过来的内容，以后再次发请求使用https, 而不是http

Upgrade-Insecure-Requests: 1

User-Agent

浏览器使用的操作系统和浏览器的名称和版本

User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10143) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36

Accept

浏览器可以接受的媒体类型

Accept: text/html 浏览器可以接受html文档 如果服务器无法返回 text/html 类型的数据,服务器应该返回一个406错误(non acceptable) Accept: */* 代表浏览器可以处理所有类型,

Accept-Encoding

浏览器可以处理的编码方式，注意这里的编码方式有别于字符集，这里的编码方式通常指gzip,deflate等

Accept-Encoding: zh-CN,zh;q=0.8

Referer

当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器籍此可以获得一些信息用于处理。一般用来统计网站访问量

Referer: https://www.baidu.com

Accept-Language

浏览器申明自己接收的语言。语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等

Accept-Language: zh-CN

Content-Length

表示请求消息正文的内存长度, 单位为字节(byte)

Content-Length: 999

Cache-Control

控制网页的缓存 常见值有 private、no-cache、max-age、must-revalidate等，默认为private。这几种值的作用是根据重新查看某一页面时不同的方式来区分的: 1. 打开新窗口 值为private、no-cache、must-revalidate，那么打开新窗口访问时都会重新访问服务器。而如果指定了max-age值（单位/s）,那么在此值内的时间里就不会重新访问服务器，例如: Cache-control: max-age=5 (表示当访问此网页后的5秒内再次访问不会去服务器) 2. 在地址栏回车 值为 private 或 must-revalidate 则只有第一次访问时会访问服务器，以后就不再访问。 值为 no-cache ，那么每次都会访问。 值为 max-age ，则在过期之前不会重复访问。 3. 按后退按扭 值为 private、must-revalidate、max-age，则不会重访问 值为 no-cache，则每次都重复访问 4. 按刷新按扭 无论为何值，都会重复访问

Cache-Control: no-cache

Cookie

Cookie是用来存储一些用户信息以便让服务器辨别用户身份的（大多数需要登录的网站上面会比较常见），比如cookie会存储一些用户的用户名和密码，当用户登录后就会在客户端产生一个cookie来存储相关信息，这样浏览器通过读取cookie的信息去服务器上验证并通过后会判定你是合法用户

Cookie: sign=asdfemajw3smq;age_verify=true;

Content-Type

表示后面的文档属于什么MIME类型。Servlet默认为text/plain，但通常需要显式地指定为text/html。由于经常要设置Content-Type，因此HttpServletResponse提供了一个专用的方法setContentType。通常只会用在POST和PUT方法的请求中

Content-Type: text/html

If-Modified-Since

把浏览器端缓存页面的最后修改时间发送到服务器去，服务器会把这个时间与服务器上实际文件的最后修改时间进行对比 如果时间一致，那么返回304，客户端就直接使用本地缓存文件 如果时间不一致，就会返回200和新的文件内容。客户端接到之后，会丢弃旧文件，把新文件缓存起来，并显示在浏览器中 如果资源不存在，则返回404

If-Modified-Since : Fri, 29 Nov 2019 12:03:33 GMT

If-None-Match

If-None-Match和ETag一起工作，工作原理是在HTTP Response中添加ETag信息。当用户再次请求该资源时，将在HTTP Request 中加入If-None-Match信息(ETag的值)。如果服务器验证资源的ETag没有改变（该资源没有更新），将返回一个304状态告诉客户端使用本地缓存文件。否则将返回200状态和新的资源和Etag. 使用这样的机制将提高网站的性能

If-None-Match: W/"3119-1437038474000"

Authorization

访问一些受保护的资源, 需要提供授权信息，格式是“username:password”字符串的base64编码, 通常出现在对服务器发送的WWW-Authenticate头的应答中。

Authorization: Basic HKdfgJKB7bbds823nsHbj

Upgrade

指定一种可能完全不同的协议，如HTTP/1.1客户端可以向服务器发送一条HTTP/1.0请求，其中包含值为“HTTP/1.1”的Update头部，这样客户端就可以测试一下服务器是否也使用HTTP/1.1了。

Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11

Proxy-Authenticate

代理服务器响应浏览器，要求其提供代理身份验证信息。与客户端和服务器之间的HTTP访问认证的行为相似,不同之处在于其认证行为是在客户端与代理之间进行的.而客户端与服务器之间进行认证时,首部字段WWW-Authorization有着相同的作用

Proxy-Authenticate: Basic realm="Usagidesign Auth"

Proxy-Authorization

浏览器响应代理服务器的身份验证请求，提供自己的身份信息。

Proxy-Authorization:Basic dglwOjkpNLAGffde

Range

Range头就是表示请求资源的从某个数值到某个数值间的数据

Range: bytes=1200-9149 表示请求资源从1200到9149byte的数据。数据的分段下载和多线程下载就是利用这个实现的

Accept-Datetime

设置接受的版本时间

Accept-Datetime: Fri, 29 Nov 2019 08:12:34 GMT

Content-MD5

使用base64进行了编码的请求体的MD5校验和, 基于MD5算法对请求体内容进行Base64二进制编码

Content-MD5: Q2hlY2sgSW50ZWdyaXR5IQ==

Date

设置消息发送的日期和时间

Date: Fri, 29 Nov 2019 08:12:34 GMT

Expect

标识客户端需要的特殊浏览器行为

Expect: 100-continue

From

发送请求的用户的email地址

From: user@example.com

X-Forward-For

记录一个请求从客户端出发到目标服务器过程中经历的代理，或者负载平衡设备的IP

X-Forwarded-For:client, proxy1, proxy2

更多请求头

https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers

6Response Headers

Allow

服务器支持的请求方法（如GET、POST等）

Content-Encoding

文档的编码（Encode）方法。只有在解码之后才可以得到Content-Type头指定的内容类型。利用gzip压缩文档能够显著地减少HTML文档的下载时间。Java的GZIPOutputStream可以很方便地进行gzip压缩，但只有Unix上的Netscape和Windows上的IE 4、IE 5才支持它。因此，Servlet应该通过查看Accept-Encoding头（即request.getHeader("Accept-Encoding")）检查浏览器是否支持gzip，为支持gzip的浏览器返回经gzip压缩的HTML页面，为其他浏览器返回普通页面。

Content-Length

表示内容长度。只有当浏览器使用持久HTTP连接时才需要这个数据。如果你想要利用持久连接的优势，可以把输出文档写入 ByteArrayOutputStream，完成后查看其大小，然后把该值放入Content-Length头，最后通过byteArrayStream.writeTo(response.getOutputStream()发送内容。

Content-Type

表示后面的文档属于什么MIME类型。Servlet默认为text/plain，但通常需要显式地指定为text/html。由于经常要设置Content-Type，因此HttpServletResponse提供了一个专用的方法setContentType。

Date

当前的GMT时间。你可以用setDateHeader来设置这个头以避免转换时间格式的麻烦。

Expires

文档过期时间, 过期后不在缓存

Last-Modified

文档的最后改动时间。客户可以通过If-Modified-Since请求头提供一个日期，该请求将被视为一个条件GET，只有改动时间迟于指定时间的文档才会返回，否则返回一个304（Not Modified）状态。Last-Modified也可用setDateHeader方法来设置。

Location

表示客户应当到哪里去提取文档。Location通常不是直接设置的，而是通过HttpServletResponse的sendRedirect方法，该方法同时设置状态代码为302。

Refresh

表示浏览器应该在多少时间之后刷新文档，以秒计。除了刷新当前文档之外，你还可以通过setHeader("Refresh", "5; URL=http://host/path")让浏览器读取指定的页面。 注意这种功能通常是通过设置HTML页面HEAD区的＜META HTTP-EQUIV="Refresh" CONTENT="5;URL=http://host/path"＞实现，这是因为，自动刷新或重定向对于那些不能使用CGI或Servlet的HTML编写者十分重要。但是，对于Servlet来说，直接设置Refresh头更加方便。 注意Refresh的意义是"N秒之后刷新本页面或访问指定页面"，而不是"每隔N秒刷新本页面或访问指定页面"。因此，连续刷新要求每次都发送一个Refresh头，而发送204状态代码则可以阻止浏览器继续刷新，不管是使用Refresh头还是＜META HTTP-EQUIV="Refresh" ...＞。注意Refresh头不属于HTTP 1.1正式规范的一部分，而是一个扩展，但Netscape和IE都支持它。

Serve

服务器名字。Servlet一般不设置这个值，而是由Web服务器自己设置。

Set-Cookie

设置和页面关联的Cookie。Servlet不应使用response.setHeader("Set-Cookie", ...)，而是应使用HttpServletResponse提供的专用方法addCookie。参见下文有关Cookie设置的讨论。

WWW-Authenticate

客户应该在Authorization头中提供什么类型的授权信息？在包含401（Unauthorized）状态行的应答中这个头是必需的。例如，response.setHeader("WWW-Authenticate", "BASIC realm="executives"")。 注意Servlet一般不进行这方面的处理，而是让Web服务器的专门机制来控制受密码保护页面的访问（例如.htaccess)

7完整web请求流程

• 域名解析
• 发起TCP的3次握手
• 建立TCP连接后发起http请求
• 服务器响应http请求，浏览器得到html代码
• 浏览器解析html代码，并请求html代码中的资源（如js、css、图片等
• 浏览器对页面进行渲染呈现给用户