写在前面的话
今天咱们就来写一篇简单的、轻松的文章，当然也是我们开始正式去使用Scrapy来写我们的第一个爬虫，我会通过这个爬虫来给大家一一讲解每一句话是啥意思，当然阅读这篇文章之前，我希望大家先去阅读Python|初识scrapy爬虫 ，阅读完后再来看这篇文章。废话不多说了，看下面吧！
2
第一个Scrapy爬虫
代码语言：javascript复制import scrapy
class demo(scrapy.Spider): # 需要继承scrapy.Spider类
name = "demo" # 定义蜘蛛名
def start_requests(self): # 由此方法通过下面链接爬取页面
# 定义爬取的链接
urls = [
'http://lab.scrapyd.cn/page/1/',
'http://lab.scrapyd.cn/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse) # 爬取到的页面如何处理？提交给parse方法处理
def parse(self, response):
'''
start_requests已经爬取到页面，那如何提取我们想要的内容呢？那就可以在这个方法里面定义。
这里的话，并木有定义，只是简单的把页面做了一个保存，并没有涉及提取我们想要的数据，后面会慢慢说到
也就是用xpath、正则、或是css进行相应提取，这个例子就是让你看看scrapy运行的流程：
1、定义链接；
2、通过链接爬取（下载）页面；
3、定义规则，然后提取数据；
'''
page = response.url.split("/")[-2] # 根据上面的链接提取分页,如：/page/1/，提取到的就是：1
filename = 'demo-%s.html' % page # 拼接文件名，如果是第一页，最终文件名便是：mingyan-1.html
with open(filename, 'wb') as f: # python文件操作，不多说了；
f.write(response.body) # 刚才下载的页面去哪里了？response.body就代表了刚才下载的页面！
self.log('保存文件: %s' % filename) # 打个日志每一句话的解释都在注释里面了，大家可以好好的看一下，我也不用多说啥了，最后直接crawl运行爬虫即可！
3
END
今天的文章是不是巨短？所以说这是一篇很简单、很轻松的文章，不过也是让大家对Scrapy爬虫有一个初步的了解，我也希望大家通过这个小例子去慢慢的适应Scrapy框架并且能够学习掌握它！
