分布式爬虫scrapy+redis入门

2018-09-10 10:31:34 浏览数 (1)

利用分布式爬虫scrapy redis爬取伯乐在线网站，网站网址：http://blog.jobbole.com/all-posts/ 后文中详情写了整个工程的流程，即时是新手按照指导走也能使程序成功运行。

1.下载64位redis软件

软件很小，4M，下载链接: https://pan.baidu.com/s/14mjeLoYJ_aFA91jq2oe2-g 密码: 4nex 下载后解压，文件夹内下图所示：

redis文件夹.png

2.开启redis服务

在资源管理器的路径中输入cmd，并按Enter进入命令行。 这一步的作用是cmd打开时就在此目录下。

image.png

进入命令行后，输入命令：redis-server redis.windows.conf

输入命令.png

命令运行结果如下图所示：

命令运行结果.png

在之后的操作步骤中，都需要保持此cmd不被关闭。 只有开启数据库服务，才能访问数据库，这是软件行业人员的常识。

3.安装scrapy-redis库

安装scrapy、lxml等库的时候容易出现没法从网上安装twisted库的错误，解决方案是从将twisted库下载到本地后，用命令进行安装。 twisted库下载链接: https://pan.baidu.com/s/1BiCc0HRpGnh-O2wk0ySKtw 密码: y9gq 注意：此链接下载的版本适用于win64系统下的Python3.6版本！！如果你的Python版本不同，请在浏览器中访问此网站：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，网站如下图所示：

twisted下载网址.png

你可以根据自己的操作系统和python版本来下载需要的版本。 在桌面新建一个Scrapy-redis文件，并放入下载好的后缀名为whl的文件。

新建文件夹.png

在资源管理器的路径中输入cmd，并按Enter进入命令行。 这一步的作用是cmd打开时就在此目录下。

进入cmd.png

进入命令行后，输入命令：pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl

命令行安装twisted库.png

安装成功则继续输入命令：pip install scrapy-redis 按照经验来说，应该不会再出现错误。能够安装成功才继续往下进行，否则自行在网上查找解决方案。

4.创建scrapy-redis工程

还是在桌面的Scrapy-redis文件夹中打开cmd 在cmd中输入命令并运行：scrapy startproject RedisTest

新建工程命令.png

进入爬虫工程目录命令：cd RedisTest，运行结果如下图所示： 从图中可以看出cmd所在的目录不同

进入爬虫工程目录命令.png

新建爬虫文件命令： scrapy genspider article blog.jobbole.com，运行结果如下图所示：

新建爬虫文件命令.png

5.在Pycharm中导入工程

Pycharm安装包下载链接: https://pan.baidu.com/s/1RyxEri8pZSd-osrwl5DJ7Q 密码: 3hm8 导入工程的按钮位置如下图所示：

image.png

选中工程文件夹，然后点击OK,如下图所示：

image.png

工程文件夹的结构如下图所示：

image.png

6.编辑items.py文件

爬取1个字段 ：title，数据类型为scrapy.Field对象

代码语言：javascript复制
import scrapy
from scrapy import Field

class RedistestItem(scrapy.Item):
    title = Field()

7.编辑article.py文件

作为入门的教程，代码示例应该去繁就简，下面一段代码仅仅只有13行。 两种框架的区别: 1.在scrapy框架中，爬虫类继承scrapy.Spider；而在scrapy-redis框架中，爬虫类继承scrapy_redis.spiders.RedisSpider。 2.scrapy-redis框架的爬虫类中没有start_urls属性，取而代之的是redis_key属性。

代码语言：javascript复制
from scrapy_redis.spiders import RedisSpider
from ..items import RedistestItem

class ArticleSpider(RedisSpider):
    name = 'article'
    redis_key = "bole_urls"

    def parse(self, response):
        article_list = response.xpath("//div[@class='post floated-thumb']")
        for article in article_list:
            item = RedistestItem()
            item['title'] = article.xpath("div[@class='post-meta']/p[1]/a/@title").extract_first()
            yield item

8.编辑pipelines.py文件

getConn函数用来连接数据库 代码中16-22行是Pipeline类的初始化，可以不写在___init___中，本文作者习惯这么写，主要作用是删除之前存在的article表和创建新表。

代码语言：javascript复制
class RedistestPipeline(object):
    def process_item(self, item, spider):
        with open("article.txt",'a') as file:
            file.write("title%sn"%item['title'])
        return item

9.编辑settings.py文件

下面代码的第5-9行是redis的相关设置，因为是从本地的redis上提取键值对，所以REDIS_HOST为127.0.0.1， 如果是从公网上的redis服务器中提取键值对，则换成服务器的ip就可以。

代码语言：javascript复制
BOT_NAME = 'RedisTest'
SPIDER_MODULES = ['RedisTest.spiders']
NEWSPIDER_MODULE = 'RedisTest.spiders'

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379

ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
   'RedisTest.pipelines.RedistestPipeline': 300,
}

10.运行爬虫

在爬虫工程文件夹中打开cmd，输入命令：scrapy crawl article 下图中划红线的部分是要求读者检查是否处于爬虫工程文件夹中。

运行爬虫.png

运行上图所示命令后，爬虫会等待redis服务器中的队列，如果队列中有新的值入队，爬虫会把该值取出，作为爬取网页的url链接。 让新值进入队列的命令：lpush {} {} 第一个大括号替换为第7步article.py文件中第6行redis_key变量的值，第二个大括号替换为需要爬取网页的url链接。 命令示例：lpush bole_urls http://blog.jobbole.com/all-posts/ 如下图所示：

lpush命令.png

读者运行时可以从爬虫运行的cmd中看到动态的效果，产生的txt文件如下图所示：

txt文件结果.png

提示

因为只是入门教程，主要作用是帮助新手理清思路，如果要爬取更多字段可以自行修改。 按照教程的顺序认真完成每一步，可以避免踩坑。

分布式 爬虫 scrapy 云数据库Redis https

0 人点赞