python爬虫使用scrapy框架爬取顶点小说网

2018-05-30 10:55:46 浏览数 (1)

1.scrapy的安装

这个安装教程,网上有很多的例子,这里就不在赘述了

2.关于scrapy

scrapy框架 是一个非常好的东西,能够实现异步爬取,节省时间,其实本文纯粹的按照之前的思维来做,

也不是不可以,但是感觉速度太慢了,毕竟数据量有点大

框架内容也在网上找找例子吧想学习可以加Python学习(q-u-n )-227-435-450 即可获取,内附:开发工具和安装包,以及视频系统学习路线图

关于FineBI

3.直接说实现吧

使用 

[python] view plain copy

scrapy startproject dingdian  

创建项目

然后增加文件,最后代码目录如下:

[python] view plain copy

├── dingdian  

│   ├── __init__.py  

│   ├── items.py  

│   ├── pipelines.py  

│   ├── settings.py  

│   └── spiders  

│       ├── __init__.py  

│       └── mydingdian.py  

主要程序:

mydingdian.py

定义的存贮内容即 items.py

设置相关  settings.py

最终的数据处理以及保存

pipelines.py

0 人点赞