1
说在前面的话
JAP君在前面也是写过一些小爬虫的,其实那些都是爬虫文件。在学习scrapy之前我们得弄清楚爬虫文件和爬虫项目的区别,其实也非常容易理解,爬虫文件顾名思义就是单个的文件来写的爬虫,爬虫项目顾名思义就是一个大型的爬虫毕竟都称之为项目了,我们大家都知道项目是不可能只有单个文件的,它是由许多的文件组成并且每个文件之间有着很大的关联。
scrapy就是这么一个写爬虫项目的框架,怎么去玩它呢?今天JAP君带着大家一步一步来。
2
打仗首先得要有武器---scrapy框架的安装
其实安装scrapy特别的简单,就一句话的事。首先同时按windows键 R,然后输入cmd,最后在cmd中输入pip install scrapy .
由于JAP君用的是windows10开发只要这么简单几步就行了,但是JAP君从网络上也了解到其他的系统安装也有许多坑,但是win10安装也可能有坑,当然有坑的话可以加我们讨论群进行解决。
可是很多朋友还是不知道到底有没有安装成功,这时你仍然在cmd窗口输入scrapy命令,若有如下图的反应,那么恭喜你安装成功,可以好好玩耍了
3
有了武器要知道怎么用它---scrapy的常用指令
我们把scrapy安装成功后,该怎么去用了?没啥感觉啊!接下来我们就正式开始接触scrapy了!
其实我们的scrapy的操作都是通过命令行来进行的,有些什么命令呢?
1.scrapy -h (查看所有命令)
从这里我们可以看到scrapy的大部分命令,例如上面的version,我们就可以如下图输入:
2.scrapy startproject spider_name (创建一个项目工程)
这里我要说明一下,我们使用这个命令之前需要切换到我们自己建的一个文件夹里,然后再输入这串命令,就会在相应的文件夹中创建这个工程。
大家可以看我的命令输入,我首先是切换到我自己创建的scrapydemo的文件夹中,然后输入 scrapy startproject ceshi1 ,这个ceshi1是大家自己定义的。
3.scrapy genspider name domain (构建爬虫)
估计大家对domain有点懵逼,domain就是你想要爬取的域名,先来看一下一个例子吧。
大家会注意到,我使用这个命令是在我们的项目目录里面,因为我们是要在这个项目里面去构建这个爬虫,首先ceshi是我们自己定义的名字,baidu.com是我们要爬取的域名,大家这里估计又会疑惑为啥不是http://www.baidu.com?其实http这个东西是协议,而www是属于万维网也不是域名的一部分,所以这里我们直接输入baidu.com即可。
至于这串代码的具体体现,下面我会说的。
4.scrapy crawl name (运行爬虫,带log日志)和
scrapy crawl name --nolog (运行爬虫,不带log日志)
这个命令咱们到后面来解释,因为这个需要我们去写一个简单的爬虫,大家只要记住运行爬虫就用它两。
4
创建项目之后是个啥样呢?
通过上面的命令scrapy startproject ceshi1 我们成功的建立了第一个scrapy爬虫项目,我们来看看到底有些啥?
ceshi1文件夹就是和我们创建是输入的名字是相同的
scrapy.cfg:爬虫项目的配置文件
我们在深入一下ceshi1文件夹
第一个文件夹:不必多说,一个缓存文件夹
第二个文件夹:就是我们爬虫的代码所在地
__init__.py:爬虫项目的初始化文件,用来对项目做初始化工作。
items.py:爬虫项目的数据容器文件,用来定义要获取的数据。
pipelines.py:爬虫项目的管道文件,用来对items中的数据进行进一步的加工处理。
settings.py:爬虫项目的设置文件,包含了爬虫项目的设置信息。
middlewares.py:爬虫项目的中间件文件
然后我们再次深入spiders文件夹
在这里我们发现了我们之前通过scrapy genspider ceshi baidu.com所生成的ceshi.py的文件。
其实这个项目我们可以用pycharm进行打开并且可以用pycharm进行编写项目,下次带大家实战一个项目的时候会看到的。
5
结尾
我们刚刚初识了一下scrapy框架的一些指令和文件夹,相信大家还是有一点点感觉了,下一篇我会带着大家利用scrapy框架去实战一个爬虫项目。