随着Python爬虫学习的深入,开始接触Scrapy框架
记录下两个参考教程:
- 官网教程:http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
- 知乎:https://zhuanlan.zhihu.com/p/26342933
官网教程可以说是比较权威比较全的,但是有一部分细节存没有交代清楚,例如第一个Scrapy框架项目的建立,这个时候我们可以参考第二个知乎的教程,主要还是以官网教程为主滴。
首先,按照官网的Scrapy安装教程安装Scrapy
安装指南
安装Scrapy
注解
请先阅读 平台安装指南.
下列的安装步骤假定您已经安装好下列程序:
- Python 3.6.5
- Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools 。
- lxml. 大多数Linux发行版自带了lxml。如果缺失,请查看http://lxml.de/installation.html
- OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
使用pip安装:
代码语言:javascript复制pip install Scrapy
在这过程中我遇到了这个错误(原因是pip版本太低):
注意一下黄色字体的说明,大致意思就是你的pip版本太低需要更新。
更新用cmd进行,在cmd里面运行python,输入以下语句即可完成更新:
代码语言:javascript复制python -m pip install --upgrade pip
在更新完pip后我们就可以按照Scrapy了。
如果lxml还没安装的童鞋,可以通过pip完成安装,安装语句:
代码语言:javascript复制pip install lxml
Scrapy项目的建立
安装好以上环境、包之后,打开cmd,输入scrapy startproject liaoxuefeng,出现以下提示后,就说明你已经成功创建一个scrapy的新项目:
该命令将会创建包含下列内容的 tutorial
目录:
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
这些文件分别是:
scrapy.cfg
: 项目的配置文件tutorial/
: 该项目的python模块。之后您将在此加入代码。tutorial/items.py
: 项目中的item文件.tutorial/pipelines.py
: 项目中的pipelines文件.tutorial/settings.py
: 项目的设置文件.tutorial/spiders/
: 放置spider代码的目录.
CMD部分
输入:“cd..”返回更目录
输入:“f:”进入f盘
输入:“cd”并将test文件夹拖入cmd中,回车,进入test文件夹,然后就可以执行我们的“scrapy startproject liaoxuefeng”语句了
备注:以管理员身份进入cmd是不允许将文件(夹)拖入cmd中的,这个时候就比较麻烦需要手动输入文件地址了,一般我是不会以管理员身份进入cmd。