Scrapy已经支持Python3了https://blog.scrapinghub.com/2016/02/04/python-3-support-with-scrapy-1-1rc1/
在安装Scrapy前确保下面的几个已经安装好:
1、Python3.5
2、pip Python2.7.9和之后的版本都已包括pip。
3、lxml 大部分Linux版本已经安装了lxml,否则参考http://lxml.de/installation.html进行安装。
4、OpenSSL在大部分操作系统中已经预安装了。
先安装Python3.5
ubuntu14.04系统会自带python2.7,请不要卸载它。不同版本的python可以共存在一个系统上。
卸载之后,桌面系统会被影响。
(1)sudo add-apt-repository ppa:fkrull/deadsnakes
(2)sudo apt-get update
(3)sudo apt-get install python3.5
(4)sudo cp /usr/bin/python /usr/bin/python_bak,先备份 (5)sudo rm /usr/bin/python,删除 (6)sudo ln -s /usr/bin/python3.5 /usr/bin/python,默认设置成python3.5,重建软链接这样在终端中输入python默认就是 3.5.2版本了.
因为pip、lxml和OpenSSL在ubuntu中已经预安装了,所以可以直接安装scrapy了。
安装Scrapy
不要使用Ubuntu提供的python-scrapy包,太老、太慢。有两种替换方式:
第一种:使用官方Ubuntu包,它已经解决了所有的依赖,持续修复了bug。
步骤:
(1)Import the GPG key used to sign Scrapy packages into APT keyring:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
(2)使用命令创建/etc/apt/sources.list.d/scrapy.list文件:
<del>echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list</del>
(3)更新包列表、安装scrapy包:
<del>sudo apt-get update && sudo apt-get install scrapy</del>
如果想更新Scrapy,就重复(3)。
如果你想自己本地build Python依赖而不用系统包,你可以采用下面一种方式
第二种:
步骤:
(1)安装non-python依赖
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
(2)安装