Scrapy框架学习记录

2019-01-22 15:16:28 浏览数 (1)

随着Python爬虫学习的深入,开始接触Scrapy框架

记录下两个参考教程:

  • 官网教程:http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
  • 知乎:https://zhuanlan.zhihu.com/p/26342933

官网教程可以说是比较权威比较全的,但是有一部分细节存没有交代清楚,例如第一个Scrapy框架项目的建立,这个时候我们可以参考第二个知乎的教程,主要还是以官网教程为主滴。

首先,按照官网的Scrapy安装教程安装Scrapy

安装指南

安装Scrapy

注解

请先阅读 平台安装指南.

下列的安装步骤假定您已经安装好下列程序:

  • Python 3.6.5
  • Python Package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools 。
  • lxml. 大多数Linux发行版自带了lxml。如果缺失,请查看http://lxml.de/installation.html
  • OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

使用pip安装:

代码语言:javascript复制
pip install Scrapy

在这过程中我遇到了这个错误(原因是pip版本太低):

注意一下黄色字体的说明,大致意思就是你的pip版本太低需要更新。

更新用cmd进行,在cmd里面运行python,输入以下语句即可完成更新:

代码语言:javascript复制
python -m pip install --upgrade pip

在更新完pip后我们就可以按照Scrapy了。

如果lxml还没安装的童鞋,可以通过pip完成安装,安装语句:

代码语言:javascript复制
pip install lxml

Scrapy项目的建立

安装好以上环境、包之后,打开cmd,输入scrapy startproject liaoxuefeng,出现以下提示后,就说明你已经成功创建一个scrapy的新项目:

该命令将会创建包含下列内容的 tutorial 目录:

代码语言:javascript复制
tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

  • scrapy.cfg: 项目的配置文件
  • tutorial/: 该项目的python模块。之后您将在此加入代码。
  • tutorial/items.py: 项目中的item文件.
  • tutorial/pipelines.py: 项目中的pipelines文件.
  • tutorial/settings.py: 项目的设置文件.
  • tutorial/spiders/: 放置spider代码的目录.

CMD部分

输入:“cd..”返回更目录

输入:“f:”进入f盘

输入:“cd”并将test文件夹拖入cmd中,回车,进入test文件夹,然后就可以执行我们的“scrapy startproject liaoxuefeng”语句了

备注:以管理员身份进入cmd是不允许将文件(夹)拖入cmd中的,这个时候就比较麻烦需要手动输入文件地址了,一般我是不会以管理员身份进入cmd。

0 人点赞