Scrapy的Request和Response对象用于爬网网站，在介绍Scrapy框架原理之前先具体讲解下Request和Response对象。
通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序，如下图15-1所示。
图15-1
一、Request对象
一个Request对象表示一个HTTP请求，它通常是在爬虫生成，并由下载执行，从而生成Response，它的构造器方法的参数列表如下：
Request(url, callback, method='GET',headers,body,cookies,meta,encoding='utf-8',priority=0,dont_filter=False,errback)
下面依次介绍这些参数。
1、url（bytest或str类型，必选）
此请求的网址。
2、callback（Callable类型）
Request对象请求的页面下载完成后，由该参数指定的页面解析函数被调用。如果请求未传递该参数，默认调用Spider的parse()方法。请注意，如果在处理期间引发异常，则会调用errback（见下方）。
3、method（str类型）
此请求的HTTP方法，默认为’GET’。
4、meta（dict类型）
Request的元数据字典，用于给下一个函数传递信息。把需要传递的信息赋值给这个叫meta的变量，meta只接受字典类型的赋值，把待传递的信息改成“字典”的形式，即：meta={'key1':value1,'key2':value2}，如果想在下一个函数中取出value1,只需得到上一个函数的meta'key1'即可，因为meta是随着Request产生时传递的，下一个函数得到的Response对象中就会有meta，即response.meta，取value1则是value1=response.meta'key1'。
5、body（bytest或str类型）
HTTP的请求体。如果 body没有给出，则存储一个空字符串。
6、headers（dict类型）
这个请求的头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。如果 None作为值传递，则不会发送HTTP头。比如{'Cookie':None'}表示禁止发送Cookie
7、cookie（dict或list类型）
请求cookie。
8、encoding（str类型）
此请求的编码（默认为’utf-8’），此编码将用于对URL进行百分比编码，并将正文转换为str（如果给定unicode）。
9、priority（int类型）
此请求的优先级（默认为0）。调度器使用优先级来定义用于处理请求的顺序。具有较高优先级值的请求将较早执行。允许负值以指示相对低优先级。
10、dont_filter（boolean类型）
表示此请求不应由调度程序过滤。当您想要多次执行相同的请求时忽略重复过滤器时使用。小心使用它，或者你会进入爬行循环。默认为False。
11、errback（callable类型）
如果在处理请求时引发任何异常，将调用的函数。这包括失败的404 HTTP错误等页面。它接收一个Twisted Failure实例作为第一个参数。有关更多信息，请参阅使用errbacks在请求处理中捕获异常。
虽然参数很多，但除了url参数之外，其他都有默认值。一般情况下，我们只需要设置url和callback参数，代码如下：
scrapy.Request("https://www.baidu.com/",callback=self.parse_page2)
当然，在处理一些反爬问题时我们会设置其他的值，这个在后面章节详解。
二、Response对象
一个Response对象表示一个HTTP响应，Response只是一个基类，根据响应内容的不同有不同的子类：TextResponse、HtmlResponse、XmlResponse。
它的构造器方法的参数列表如下：
Response(url, status=200, headers=None, body=b'', flags=None, request）
1、url（str类型）
HTTP响应的URL。
2、status（int类型）
响应的HTTP状态，默认为200。
3、headers（dict类型）
HTTP响应的头部，dict值可以是字符串（对于单值标头）或列表（对于多值标头），可以调用get或getlist方法进行访问，如下：
代码语言：javascript复制 response.headers.get('Content-Type')
response.headers.getlist('Set-Cookie')4、body（bytes类型）
HTTP响应体，如TextResponse。
5、flags（list类型）
是一个包含属性初始值的 Response.flags列表。
6、request（Requestobject类型）
属性的初始值Response.request，这代表Request生成此响应。
三、Response响应子类
前面提到过，根据响应内容的不同有不同的子类，包括TextResponse、HtmlResponse、XmlResponse。下面以TextResponse为例详情讲解下它更多的参数。
1、TextResponse对象
class scrapy.http.TextResponse(url[, encoding, ...])
TextResponse除了标准对象之外，对象还支持以下属性：
text
响应体，如unicode。
同样response.body.decode(response.encoding)，但结果是在第一次调用后缓存，因此可以访问 response.text多次，无需额外的开销。
注意：unicode(response.body)不是一个正确的方法来将响应正文体转换为unicode，而是使用系统默认编码（通常为ascii）。
encoding
包含此响应的编码的字符串。
selector
Selector对象用于在Response中提取数据，具体更加详细的内容会在后面的章节讲解。
xpath（query）
使用XPath选择器在Response中提取数据，更多内容访问爬虫课程（八）｜豆瓣：十分钟学会使用XPath选择器提取需要的元素值
css(query)
使用CSS选择器在Response中提取数据，它的快捷方式为
TextResponse.selector.css(query):response.css('p')
具体更加详细的内容会在后面的章节讲解。
urljoin（url）
用于构造绝对url，当传入的url参数是一个相对地址，根据response.url计算出相应的绝对url。比如，response.url为https://www.jianshu.com/，url为p/5d19b49755f0，使用response.urljoin(url)的结果就是https://www.jianshu.com/p/5d19b49755f0。
简写为response.urljoin(url)，实际上是response.urljoin(response.url, url)
同样的，Response参数也有很多，但在爬虫中使用最多的主要是最后的三个：xpath（query）、css(query) 和urljoin（url）。
实际上，这三个参数在前面的实战章节中已经使用过，现在是做一个整体回顾和整理。
四、后话
现在有了这些基础，接下来要讲的就是Scrapy的框架结构及工作原理。
