Python爬虫之Scrapy学习（基础篇）

在爬虫的路上，学习scrapy是一个必不可少的环节。也许有好多朋友此时此刻也正在接触并学习scrapy，那么很好，我们一起学习。开始接触scrapy的朋友可能会有些疑惑，毕竟是一个框架，上来不知从何学起。从本篇起，博主将开启scrapy学习的系列，分享如何快速入门scrapy并熟练使用它。

本篇作为第一篇，主要介绍和了解scrapy，在结尾会向大家推荐一本关于学习scrapy的书，以及获取的方式。

为什么要用爬虫框架？

如果你对爬虫的基础知识有了一定了解的话，那么是时候该了解一下爬虫框架了。那么为什么要使用爬虫框架？

学习编程思想：学习框架的根本是学习一种编程思想，而不应该仅仅局限于是如何使用它。从了解到掌握一种框架，其实是对一种思想理解的过程。
开发方便：框架也给我们的开发带来了极大的方便。许多条条框框都已经是写好了的，并不需要我们重复造轮子，我们只需要根据自己的需求定制自己要实现的功能就好了，大大减少了工作量。
提升编程能力：参考并学习优秀的框架代码，提升编程代码能力。

博主当时是根据这几点来进行爬虫框架的学习的，切记核心目标是掌握一种框架思想，一种框架的能力，掌握了这种思想你才能更好的去使用它，甚至扩展它。

scrapy的介绍

比较流行的爬虫的框架有scrapy和pyspider，但是被大家所钟爱的我想非scrapy莫属了。scrapy是一个开源的高级爬虫框架，我们可以称它为"scrapy语言"。它使用python编写，用于爬取网页，提取结构性数据，并可将抓取得结构性数据较好的应用于数据分析和数据挖掘。scrapy有以下的一些特点：

scrapy基于事件的机制，利用twisted的设计实现了非阻塞的异步操作。这相比于传统的阻塞式请求，极大的提高了CPU的使用率，以及爬取效率。
配置简单，可以简单的通过设置一行代码实现复杂功能。
可拓展，插件丰富，比如分布式scrapy redis、爬虫可视化等插件。
解析方便易用，scrapy封装了xpath等解析器，提供了更方便更高级的selector构造器，可有效的处理破损的HTML代码和编码。

scrapy和requests bs用哪个好？

有的朋友问了，为什么要使用scrapy，不使用不行吗？用resquests beautifulsoup组合难道不能完成吗？

不用纠结，根据自己方便来。resquests beautifulsoup当然可以了，requests 任何解析器都行，都是非常好的组合。这样用的优点是我们可以灵活的写我们自己的代码，不必拘泥于固定模式。对于使用固定的框架有时候不一定用起来方便，比如scrapy对于反反爬的处理并没有很完善，好多时候也要自己来解决。

但是对于一些中小型的爬虫任务来讲，Scrapy确实是非常好的选择，它避免了我们来写一些重复的代码，并且有着出色的性能。我们自己写代码的时候，比如为了提高爬取效率，每次都自己码多线程或异步等代码，大大浪费了开发时间。这时候使用已经写好的框架是再好不过的选择了，我们只要简单的写写解析规则和pipeline等就好了。那么具体哪些是需要我们做的呢？看看下面这个图就明白了。