Scrapy在Ubuntu下的安装与配置

2018-04-08 14:19:08 浏览数 (1)

Scrapy在Ubuntu下的安装与配置

吐槽一下

最近几天由于比较忙,关于Torch7剩下的部分过些日子再更新。现在想想,是不是好久没有更行python爬虫的东西啦?好的吧,今天由于台式机的Ubuntu崩溃了,不得不重新安装Scrapy爬虫框架,正好姐这个机会写点关于Scrapy在Ubuntu下的安装与配置的相关内容吧。说实话,在Ubuntu下安装SCrapy比在Window下安装方便多了(window下的安装教程度娘一搜一大把不再赘述)。

1

安装python

代码语言:javascript复制
sudo apt-get install python2.7 python2.7-dev

2

安装pip

首先下载 pip-get.py,然后进入下载目录执行下面的命令。

代码语言:javascript复制
wget https://bootstrap.pypa.io/get-pip.py  --no-check-certificate

sudo python get-pip.py

3

安装Scrapy

首先验证本机是否已经安装了lxml,验证方式如下。

代码语言:javascript复制
sudo pip install lxml

如果终端提示以下信息则表明你的系统已经安装lxml

代码语言:javascript复制
Requirement already satisfied (use --upgrade to upgrade): 
lxml in /usr/lib/python2.7/dist-packages

然后验证是否安装了openssl,这个比较简单,直接在终端下输入openssl直接进入OPENSSL表明已经安装

在确认已经安装了lxml和openssl后就可以安装Scrapy,如下。

代码语言:javascript复制
sudo apt install python-scrapy

0 人点赞