windows部署SpiderKeeper(爬虫监控)

2019-03-25 14:40:30 浏览数 (1)

最近发现了一个spdierkeeper的库,这个库的主要用途是在于配合这scrpyd管理你的爬虫,支持一键式部署,定时采集任务,启动,暂停等一系列的操作. 简单来说将scrapyd的api进行封装,最大限度减少你跟命令行交互次数.不得说这个是很棒的事情.

https://github.com/DormyMo/SpiderKeeper SpiderKeeper的github连接

环境配置

由于 scrapyd是基于python3 以上的版本兼容性较好,所以我们需要的环境为

python3.4 、scrapyd、scrapy_client、SpiderKeeper、scrapy & scrapy相关的库、scrapy_reids （如果缺少这个在部署任务会报错(Reids.KeyErroe:’xxx’), xxx我们部署的任务.）

代码语言：javascript复制
pip install spiderkeeper
pip install scrapy
pip install scrapy_redis
pip install scrapyd
pip install scrapy_client

启动&配置

安装完成之后,便可以启动服务器了

单台服务器

代码语言：javascript复制
spiderkeeper   
# 启动单台服务器,默认启动本地的 http://localhost:6800 scrapyd的服务 | spiderkeeper的默认端口为5000.

连接多台scrapyd服务器. 在分布式中我们的服务器中肯定不止一台,使用spiderkeeper可以很好的解决这个问题

代码语言：javascript复制
spiderkeeper --server=http://localhost:6800 --server=http://111.111.111.111:6800 
 #启动一个spiderkeeper可以同时部署两台服务器的spider

更改用户名&密码&更改端口号

进入到spiderkeeper安装目录下：

config.py 更改用户名&密码

代码语言：javascript复制
# Statement for enabling the development environment
import os

DEBUG = True

# Define the application directory


BASE_DIR = os.path.abspath(os.path.dirname(__file__))

SQLALCHEMY_DATABASE_URI = 'sqlite:///'   os.path.join(os.path.abspath('.'), 'SpiderKeeper.db')
SQLALCHEMY_TRACK_MODIFICATIONS = False
DATABASE_CONNECT_OPTIONS = {}

# Application threads. A common general assumption is
# using 2 per available processor cores - to handle
# incoming requests using one and performing background
# operations using the other.
THREADS_PER_PAGE = 2

# Enable protection agains *Cross-site Request Forgery (CSRF)*
CSRF_ENABLED = True

# Use a secure, unique and absolutely secret key for
# signing the data.
CSRF_SESSION_KEY = "secret"

# Secret key for signing cookies
SECRET_KEY = "secret"

# log
LOG_LEVEL = 'INFO'

# spider services
SERVER_TYPE = 'scrapyd'
SERVERS = ['http://localhost:6800']

# basic auth 这里更改用户名&密码
NO_AUTH = False
BASIC_AUTH_USERNAME = 'admin'
BASIC_AUTH_PASSWORD = 'admin'
BASIC_AUTH_FORCE = True

run.py更改端口号

代码语言：javascript复制
def parse_opts(config):
    parser = OptionParser(usage="%prog [options]",
                          description="Admin ui for spider service")
    parser.add_option("--host",
                      help="host, default:0.0.0.0", 
                      dest='host',
                      default='0.0.0.0')#bind ip 绑定ip 默认全部人可以访问
    parser.add_option("--port",
                      help="port, default:5000", 
                      dest='port',
                      type="int",
                      default=5000)#默认端口号5000 可以根据你的需求设计
    parser.add_option("--username",
                      help="basic auth username ,default: %s" % config.get('BASIC_AUTH_USERNAME'),
                      dest='username',
                      default=config.get('BASIC_AUTH_USERNAME'))
    parser.add_option("--password",
                      help="basic auth password ,default: %s" % config.get('BASIC_AUTH_PASSWORD'),
                      dest='password',
                      default=config.get('BASIC_AUTH_PASSWORD'))
    parser.add_option("--type",
                      help="access spider server type, default: %s" % config.get('SERVER_TYPE'),
                      dest='server_type',
                      default=config.get('SERVER_TYPE'))
    parser.add_option("--server",
                      help="servers, default: %s" % config.get('SERVERS'),
                      dest='servers',
                      action='append',
                      default=[])
    parser.add_option("--database-url",
                      help='SpiderKeeper metadata database default: %s' % config.get('SQLALCHEMY_DATABASE_URI'),
                      dest='database_url',
                      default=config.get('SQLALCHEMY_DATABASE_URI'))

    parser.add_option("--no-auth",
                      help="disable basic auth",
                      dest='no_auth',
                      action='store_true')
    parser.add_option("-v", "--verbose",
                      help="log level",
                      dest='verbose',
                      action='store_true')
    return parser.parse_args()

使用scrapyd打包你的项目生成.egg文件，以便后面传到spiderkeeper上面 C:UsersadminworkspacepcLibsite-packagesscrapyd-client为scrapyd-client安装目录，news.egg为生成的文件命名，文件名可任意命名，要以.egg结尾

代码语言：javascript复制
python "C:UsersadminworkspacepcLibsite-packagesscrapyd-clientscrapyd-deploy" --build-egg news.egg

在项目目录下启动scrapyd(注意，必须现在项目目录下的scrapy.cfg中开启url这个选项，默认是注释状态，不生效)

在浏览器访问127.0.0.1:5000,创建项目

点击创建项目，项目名称自己随意设置

上传刚才生成的egg文件

点击仪表盘，添加一个任务

spiderkeeper一大优点就是计划任务做的很好，帮助我们减少了一些工作。 这里计划任务根据自己需求设置，设置完点击创建即可

设置完成点击运行即可，如果你设置错了，也可以选择移除它。

部署完成，回到仪表盘看下自己的爬虫执行状态。

不想运行了也可以点击结束爬虫，需要注意的是，一个爬虫结束后，需要在进行添加一次任务。spiderkeeper封装了scrapyd的log接口，我们可以直接点击log查看爬虫的异常信息。

扩展:   如果想把监控部署在网络上，项目目录下scrapy.cfg中的url需要配置成0.0.0.0，设置完请重启scrapyd。

参考：https://www.jianshu.com/p/5c76ab84e6d8 https://blog.csdn.net/crazy__hope/article/details/79255142

爬虫 https 网络安全 github scrapy

0 人点赞