scrapy-Redis就是结合了分布式数据库redis，重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。
，正好我的知识星球球友：知识星球：Python绿色通道 投稿来了，他的公众号名称「Python梦工厂」点击原文可以查看他的文章。
文章接前一篇文章:Python 学习之 Tkinter「上 」 文章来源还是来自于我的知识星球球友.Python绿色通道 GUI教程就这么多了，完全满足我们日常做小工具的需求了，如果要继续深入可以自己研究。...
对这个框架用的时间很长了，一般如果需要大量抓取的话，就需要用到这个框架，因为相对来说还是挺方便的。
想来能学习 Scrapy 肯定 Python 环境是安装好的，所以就可以直接使用命令
每次项目重新启动的时候不可能再去把相同的内容重新采集一次，所以增量爬取很重要
新建一个scrapy项目，scrapy startproject zhihuspider
安装scrapy,安装splash需要安装docker，详细的安装步骤在我的csdn博客
第一步，准备从地区信息开始爬，打开美团官网，点击切换地区，按F12，点击XHR，XHR会过滤出来异步请求，这样我们就看大了美团的地区信息的json数据，复制该链接http://www.meituan.com/ptapi/getprovincecityinfo/...
