scrapy源码解析参考连接：https://www.jianshu.com/p/d492adf17312 ，直接看大佬的就行了，这里便就不多说了。

Windows 上的Django安装如今Python使用的范围越来越广，所以学会关于它比较火的网络框架非常有必要。要安装Django，首先要知道你电脑上的python是哪个版本的，至于如何安装python的解释器环境此处不做介绍，网上的教程很多。...

今天看了一本书的介绍《python网络爬虫实战》，里面介绍了四种框架（or模块），我做了小结如下：

Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

Scrapy已经支持Python3了https://blog.scrapinghub.com/2016/02/04/python-3-support-with-scrapy-1-1rc1/

1、定义：网络爬虫（Web Spider），又被称为网页蜘蛛，是一种按照一定的规则，自动地抓取网站信息的程序或者脚本。

环境：centos7 + python3.6问题：pip install scrapy安装失败，提示缺少python.h。解决：按照网上方法安装python-develyum install p

Spider就是定义爬取的动作及分析网站的地方。 spider原理 以初始的URL**初始化Request**，并设置回调函数。 当该request**下载完毕并返回时，将生成**response ，并作为参数传给该回调函数。 初始化request —> start_r...

1、Windows中python3.x，pip安装scrapy时，出错。错误代码关键词是：failed with error code 1 错误原因在，Twisted模块无法安装，需要C++14.0解决办法：在https://www.lfd.uci.edu/~gohlke/pythonlibs下载对应的Twi......

scrapy是python最有名的爬虫框架之一，可以很方便的进行web抓取，并且提供了很强的定制型。