写一个爬虫去互联网上采集数据这件事情，看似好像对别人没有坏处，其实如果爬虫不断的去爬数据的话，会给爬取对象的网站造成很大的压力。所以我们往往会限制爬虫爬取的速度。...

还是爬交大图书馆的数据，不过这次我们用Scrapy的开源爬虫框架。上次我们在Anaconda平台下安装了Scrapy，这回就可以开始用啦。

首先假设我们要自己写一个获取图片的爬虫吧。那么显然，你需要的就是获取图片链接，然后写一个专门下载图片的pipline。很开心的是，scrapy其实已经给你实现好了这个pipline了，是不是很贴心呢！...

在Scrapy的框架中，其实可以有好多pipline。大家在编写pipline的时候有没有这样的一个疑问，为什么pipline函数最后要有一个语句是

Scrapy是一个python的爬虫架构，但是这个架构的工作原理是怎么的呢？也就是说，Scrapy的框架是怎么样的。网上已经有很多博文说这个框架了，但是我想用另外一种方法来讲述。...

Scrapy在命令行有许多直接可以使用的命令。命令可以分为两类，一类是依赖于工程的，一类是不依赖的。对于不依赖的，就当做是一个工具就行了，有点java里面静态方法的感觉，就是一个tool。...

这几天，很多朋友在群里问Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。...

有好点子，想创业，但没钱，怎么办？Kickstarter是美国著名的众筹网站，在这里可以帮有好点子的创业者实现梦想！本文数据侠抓取了Kickstarter的众筹数据，在进行数据可视化与分析后，得出了一些洞察结果，也许可以帮助到想要创业的朋友...

官网教程可以说是比较权威比较全的，但是有一部分细节存没有交代清楚，例如第一个Scrapy框架项目的建立，这个时候我们可以参考第二个知乎的教程，主要还是以官网教程为主滴。...

最近想在工作相关的项目上做技术改进，需要全而准的车型数据，寻寻觅觅而不得，所以就只能自己动手丰衣足食，到网上获（窃）得（取）数据了。