作者：** 链接：https://www.zhihu.com/question/46778996/answer/125431381

一般我们一个小的爬虫项目，比如爬取一些文章等，直接用python的requests库，配合re模块就可以很快的完成。但是对于一些大规模的爬取，我们需要实现多线程、异步io，数据库连接等操作，自己从头写起会有些麻烦。这时可以用scrapy...

环境搭建上参看官方说明文档:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html

http://stackoverflow.com/q/31900008/6403672

scrapy-Redis就是结合了分布式数据库redis，重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

摘要：使用 Scrapy 爬取豌豆荚全网 70,000+ App，并进行探索性分析。

为什么要学 scrapy 呢？看下图中的招聘要求，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。

我们在抓取数据的过程中，除了要抓取文本数据之外，当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗？答案是，当然的。说来惭愧，我也是上个月才知道，在 zone7 粉丝群中，有群友问 scrapy 怎么爬取图片数据？后来搜索了一...

正好我们也在做网站的数据分析案例，不如就用 Python 来分析下，虎扑你这个直男论坛到底是怎样的？

scrapy是一个python爬虫架构，非常适合做一些大型爬虫项目，并且开发者利用这个架构，可以用不关注一些细节问题，现在爬虫的架构还是很多的，作为元老级别的scrapy依然是一个受到多方关注的技术。...