在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。

在使用Scrapy抓取网站的时候，可能会遇到这样的情况，网站返回一个JSON字符串。在JSON字符串中又有一项，它的值是HTML。

中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。...

Python爬虫中：Requests + Selenium可以解决目前90%的爬虫需求，难道Scrapy是解决剩下的10%的吗？

适用人群概览安装 pip install scrapy 介绍mongodb 安装下载后解压并重命名启动

Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。...

1、请先确保所有主机都已经安装和启动 Scrapyd，如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0，然后重启 Scrapyd。...

rules是一组Rule对象。每条Rule定义了抓取网页的方式。如果多条规则匹配到同一链接，根据定义规则的顺序，使用第一个链接。

创建爬虫工程(p3scrapy) [vagrant@reboot vagrant]$ scrapy startproject ArticleSpiderYou can start your first spider with: cd ArticleSpider scrapy genspider ex...

官网：https://docs.scrapy.org/en/latest/intro/overview.html