零、什么是 Scrapy
Scrapy 是一个用于爬取网站并提取结构化数据的高效爬虫框架，它可以用于各种应用程序/项目，比如数据挖掘、信息处理和档案处理等。最初设计 Scrapy 是用来爬取 Web 数据的，但是现在也可以将它用于爬取 API 信息和作为通用 Web 搜索器来提取数据。
一、演示项目
为了向您展示Scrapy带来的好处，我将使用最简单的方式介绍 Scrapy 的示例。下面我们以爬取 http://quotes.toscrape.com/ 网站为例。
代码语言：javascript复制import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.xpath('span/small/text()').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)将上述代码存储在 quotes_spider.py 文件中，然后使用 runspider命令来运行这个程序。
scrapy runspider quotes_spider.py -o quotes.json上述命令执行完成后将会在 quotes_spider.py 的同级目录中出现一个 quotes.json 文件，文件包括作者信息和文本信息，部分内容如下。
代码语言：javascript复制[{
"author": "Jane Austen",
"text": "u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.u201d"
},
{
"author": "Groucho Marx",
"text": "u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.u201d"
},
{
"author": "Steve Martin",
"text": "u201cA day without sunshine is like, you know, night.u201d"
}]当运行上述命令时， Scrapy 会在其中查找 Spider 定义，并通过内含的搜索器引擎来运行它。程序开始运行时，会对 start_urls 属性中定义的 URL 发送请求，并将响应结果作为参数传递给默认的回调方法 parse ，在 parse 中我们使用 CSS 选择器遍历 quote 元素，生成包含从响应结果中提取出的文本信息和作者，并查找下一页的链接，最后使用和回调函数相同的方法去请求下一页。 目前为止你可以看到 Scrapy 的主要优势之一：请求是异步调度和处理的。这意味着 Scrapy 无需等待请求完成和处理，它可以同时发送另一个请求或执行其他操作。也意味着即使某些请求失败或在处理过程中发生错误，其他请求也可以继续执行。尽管这这样能够进行非常快的爬取网页，但是还可以通过一些设置来限制爬取网站的方式。例如可以执行以下操作：设置每个请求之间的下载延迟，限制每个域或每个IP的并发请求数量。
二、其他内容
现在你已经了解了如何使用 Scrapy 从网站提取数据以及存储项目了，但这仅仅是冰山一角。Scrapy 提供了许多强大的功能，使得抓取网页变得简单而有效，例如：
- 使用扩展的 CSS 选择器和 XPath 表达式从HTML/XML源中选择和提取数据，以及使用正则表达式提取的辅助方法；
- 具有一个交互式的 Shell 控制台，用于测试编写的 CSS 和 XPath 表达式的效果，这在编写或调试 Spider 时非常有用；
- 内置多种数据保存格式；
- 强大的编码支持和自动检测功能，用于处理外来的非标准的和存在问题的编码声明；
- 强大的可扩展性支持，可以使用 signals 和 AP I来插入自己编写的功能。
- 广泛的内置扩展和中间件用于处理：
- Cookie和会话处理
- HTTP功能，如压缩，身份验证，缓存
- 用户代理欺骗
- robots.txt
- 爬行深度限制
- and more
- 具有 Telnet 控制台，用于链接在 Scrapy 进程内运行的 Python 控制台来调试爬虫程序；
- 其他可重复使用的东西，如可以从 Sitemaps 和 XML/CSV 源爬取内容，自动下载与被抓取的项目关联的图像（或任何其他媒体）的媒体管道，缓存的DNS解析器等等！
三、接下来
接下来的步骤是安装 Scrapy，请按照本教程了解如何创建全面的刮刮项目并加入社区 S解析器等等！
三、接下来
接下来的步骤是安装 Scrapy，请按照本教程了解如何创建全面的刮刮项目并加入社区
