Scrapy在Ubuntu下的安装与配置
吐槽一下
最近几天由于比较忙,关于Torch7剩下的部分过些日子再更新。现在想想,是不是好久没有更行python爬虫的东西啦?好的吧,今天由于台式机的Ubuntu崩溃了,不得不重新安装Scrapy爬虫框架,正好姐这个机会写点关于Scrapy在Ubuntu下的安装与配置的相关内容吧。说实话,在Ubuntu下安装SCrapy比在Window下安装方便多了(window下的安装教程度娘一搜一大把不再赘述)。
1
安装python
代码语言:javascript复制sudo apt-get install python2.7 python2.7-dev
2
安装pip
首先下载 pip-get.py,然后进入下载目录执行下面的命令。
代码语言:javascript复制wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate
sudo python get-pip.py
3
安装Scrapy
首先验证本机是否已经安装了lxml,验证方式如下。
代码语言:javascript复制sudo pip install lxml
如果终端提示以下信息则表明你的系统已经安装lxml
代码语言:javascript复制Requirement already satisfied (use --upgrade to upgrade):
lxml in /usr/lib/python2.7/dist-packages
然后验证是否安装了openssl,这个比较简单,直接在终端下输入openssl直接进入OPENSSL表明已经安装
在确认已经安装了lxml和openssl后就可以安装Scrapy,如下。
代码语言:javascript复制sudo apt install python-scrapy