服务器上部署scrapy爬虫项目

爬爬们，如果你已经开始部署项目了，那么你肯定也已经写好了完整的爬虫项目，恭喜你，你很优秀！ **今天忙了小半天的服务器部署，跟大家分享一些心得～

首先我们要有一台服务器，不好意思，这是废话，略过。。。。。

安装python

代码语言：javascript复制

 # 下载安装包，好习惯可以自己创建文件夹/home/download/
   $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
   # 解压
   $ tar zxvf Python-3.4.1.tgz /us
   3进入解压后的目录，执行安装配置
   $ ./configure
   #或指定安装目录
   $ ./configure --prefix=/opt/python3
   $ make
   $ make install
   #安装后建立一个链接，这样我们可以用python3直接运行程序，和python2区别开来。
   $ ln -s /opt/python3/bin/python3 /usr/bin/python3 

 

注意：1.在安装之前最好要安装各种依赖包

代码语言：javascript复制

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了，请修改/usr/bin/yum文件中的第一行python后加2.？版本号，还有一个文件需要修改叫什么我忘记了，同理

注意：2.pip3安装之前要建立pip3软连接

代码语言：javascript复制

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

代码语言：javascript复制

在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若没有在第二步安装依赖环境 sqlite-devel，那么在启动scrapyd的时候会报错。 安装各种依赖包最好创建虚拟环境，

代码语言：javascript复制

#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate

python scrapy

0 人点赞