1.在Scrapy工程下新建“middlewares.py”Importing base64 library because we'll need it ONLY in case if the proxy we are going to use requires authenticationimport base6...

接下来的几篇，我们将介绍一下最流行的爬虫框架 Scrapy。本篇，我们会介绍一下 Scrapy 的基本使用。

之前有一位爬虫大佬写了一篇文章，说 HTTP/2协议天然就能防大部分的爬虫。Python 无论是 requests 还是 Scrapy 都不支持 HTTP/2协议。

如果download middleware中响应状态异常时，需要进行验证码处理，其中可能包含下载验证图片，向验证码接口或本地服务发送请求获取验证结果，带着验证结果向目标验证地址发送请求，向上次响应状态异常的URL重新发送请求等许多操...

1. 看数据量。数据量小，数据放在内存里面；数据量中等，数据放在基于内存的数据库里面；数据量特别大，数据放在硬盘里面。

之前在知识星球上有人问如下找出连续子序列的最大和，这样算是不是很慢？哪里可以优化呢？

反爬虫常见套路 判断user-agent 校验referer头 校验cookie 同一IP访问次数限制 js/ajax动态渲染页面 反反爬虫应对策略1、user-age

练习了基本的操作之后，当然就要找框架来进行爬虫实验啊。于是就在网上找Windows 64安装Scrapy的方法，查到的都是非常繁琐的安装方式，由于Scrapy有很多个依赖，所以在安装Scrapy之前你就要先安装他的所有的依赖啊，下面列举出...

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

Scrapy框架官方网址：http://doc.scrapy.org/en/latest