什么是scrapy？
scrapy是一个为了爬去网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取
scrapy使用了 Twisted 异步网络框架，可以加快我们的下载速度
异步和非阻塞的区别
异步：调用在发布之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程
安装scrapy
直接安装可能会报错
- 第一步 下载Twisted
- 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
- 搜索 Twisted 选择与你的python版本相对应的版本
- 查看python版本命令 python -V或着python -version
- 第二步 安装Twisted
- 进入到刚刚下载的Twisted所在的目录，执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
- 第三部 安装scrapy
- pip install scrapy
scrapy项目流程
- 创建项目
- scrapy startproject 项目名
- 如：scrapy startproject Myspider
- 创建爬虫
- cd 项目名
- 如：cd Myspider
- scrapy genspider <限制访问的网站(allowed_domains)>
- 如：scrapy genspider itcast itcast.cn
- 启动爬虫
- scrapy crawl 爬虫名
- 如：scrapy crawl itcast
- 完善spider
- 完善管道
完善spider
- parse方法必须有，用来处理start_urls对应的响应
- extract() response.xpath()从中提取数据的方法，没有就返回一个空列表
数据提取url地址补全
- 1.手动字符串相加
- 2.urllib.parse.urljoin(baseurl.url)
- 后面的url会根据baseurl进行url地址的拼接
- 3.response.follow(url, callback)
- 能够根据response的地址把url拼接完整，构造成request对象
scrapy构造请求
- scrapy.Request(url, callback, meta, dont_filter=False)
- callback:url地址的响应的处理函数
- meta：实现在不同的解析函数中传递数据
- dont_filter:默认是Faslse表示过滤，scrapy请求过的url地址，在当前的运行程序中 ---恢复内容结束--- ### 什么是scrapy？ scrapy是一个为了爬去网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取
scrapy使用了 Twisted 异步网络框架，可以加快我们的下载速度
异步和非阻塞的区别
异步：调用在发布之后，这个调用就直接返回，不管有无结果 非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程
安装scrapy
直接安装可能会报错
- 第一步 下载Twisted
- 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
- 搜索 Twisted 选择与你的python版本相对应的版本
- 查看python版本命令 python -V或着python -version
- 第二步 安装Twisted
- 进入到刚刚下载的Twisted所在的目录，执行 pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl(刚刚下载的文件)
- 第三部 安装scrapy
- pip install scrapy
scrapy项目流程
- 创建项目
- scrapy startproject 项目名
- 如：scrapy startproject Myspider
- 创建爬虫
- cd 项目名
- 如：cd Myspider
- scrapy genspider <限制访问的网站(allowed_domains)>
- 如：scrapy genspider itcast itcast.cn
- 启动爬虫
- scrapy crawl 爬虫名
- 如：scrapy crawl itcast
- 完善spider
- 完善管道
完善spider
- parse方法必须有，用来处理start_urls对应的响应
- extract() response.xpath()从中提取数据的方法，没有就返回一个空列表
数据提取url地址补全
- 1.手动字符串相加
- 2.urllib.parse.urljoin(baseurl.url)
- 后面的url会根据baseurl进行url地址的拼接
- 3.response.follow(url, callback)
- 能够根据response的地址把url拼接完整，构造成request对象
scrapy构造请求
- scrapy.Request(url, callback, meta, dont_filter=False)
- callback:url地址的响应的处理函数
- meta：实现在不同的解析函数中传递数据
- dont_filter:默认是Faslse表示过滤，表示请求过的url地址，不会被再次请求
