ubuntu上安装scrapy框架

2018-09-18 16:19:35 浏览数 (1)

简介:

Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上, scrapy的依赖库比较多,而且各个平台的都不一样,这里我只介绍在debian/ubuntu下如何安装scrapy,以及我遇到的一些问题,windows用户自行百度了,哈哈(懒)

环境:
  • Ubuntu->18.04,
  • python->3.4.3,
  • pip->18.0,安装: 首先安装需要用到的依赖
  • 依赖 sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
  • 安装scrapy pip3 install Scrapy

如果速度比较慢,可以更换pip的源

代码语言:javascript复制
vim ~/pip/pip.conf
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com
报错:
代码语言:javascript复制
Could not find a version that satisfies the requirement PyHamcrest>=1.9.0 (from Twisted>=13.1.0->scrapy) (from versions: )
No matching distribution found for PyHamcrest>=1.9.0 (from Twisted>=13.1.0->scrapy)

大致意思是我没有安装PyHamcrest吧,还规定了版本,因为我怕直接pip安装版本会不对,就直接下载对应版本的包,本地安装了。 在这里下载PyHamcrest->1.9.0版本的包到本地,然后进入目录

代码语言:javascript复制
pip3 install ./PyHamcrest-1.9.0-py2.py3-none-any.whl

然后重新输入:

代码语言:javascript复制
pip3 install Scrapy

等一会就好了~

0 人点赞