Scrapy框架是一个强大的Python爬虫框架，它可以帮助我们快速地爬取网页数据。本文将介绍如何使用Scrapy框架爬取百度图片搜索结果页面中的网页图片。
一、Scrapy框架简介
Scrapy是一个基于Twisted的异步网络爬虫框架，它可以快速地爬取大量的网页数据。Scrapy框架具有以下特点：
- 异步处理：Scrapy使用异步处理方式，可以大大提高爬虫的效率。
- 支持多种数据存储方式：Scrapy支持多种数据存储方式，包括内存、文件系统和数据库等。
- 可扩展性强：Scrapy框架具有良好的可扩展性，可以通过插件来扩展其功能。
- 易于使用：Scrapy框架提供了简单易用的API,可以快速上手。
二、爬取百度图片搜索结果页面
要爬取百度图片搜索结果页面中的网页图片，我们需要先分析该页面的结构。百度图片搜索结果页面通常包含多个图片链接，每个图片链接都对应一个图片资源。我们可以使用Scrapy框架来爬取这些图片链接，并下载对应的图片资源。
以下是一个简单的Scrapy项目示例，用于爬取百度图片搜索结果页面中的网页图片：
代码语言：javascript复制
import scrapy
from scrapy.http import Request
from urllib.parse import quote
class BaiduImageSpider(scrapy.Spider):
name = 'baidu_image_spider'
allowed_domains = ['image.baidu.com']
start_urls = ['https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111110&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=美女']
def parse(self, response):
for image in response.css('div.img'):
img_url = image.css('img::attr(src)').get()
if img_url:
yield Request(url='https://www.baidu.com' img_url, callback=self.parse_image)
yield {'image_url': img_url}
def parse_image(self, response):
image_url = response.urljoin(response.css('img::attr(src)').get())
yield {'image_url': image_url}
在上面的代码中，我们定义了一个名为BaiduImageSpider的Scrapy爬虫类。该类继承自scrapy.Spider,并定义了两个方法：parse()和parse_image()。parse()方法用于解析百度图片搜索结果页面，并提取其中的图片链接；parse_image()方法用于下载对应的图片资源。
在parse()方法中，我们首先使用CSS选择器div.img来定位百度图片搜索结果页面中的图片元素。然后，我们使用CSS选择器img::attr(src)来提取每个图片元素的src属性值，即图片链接。如果找到了图片链接，我们就使用Request()函数创建一个新的请求对象，并指定回调函数为parse_image()。最后，我们将提取到的图片链接添加到响应中，以便后续下载。
在parse_image()方法中，我们同样使用CSS选择器img::attr(src)来提取图片链接，并将其转换为完整的URL地址。然后，我们使用yield语句将提取到的图片链接添加到响应中。这样，当Scrapy框架收到这个响应时，就会自动调用parse_image()方法来下载对应的图片资源。
