1.scrapy的安装
这个安装教程,网上有很多的例子,这里就不在赘述了
2.关于scrapy
scrapy框架 是一个非常好的东西,能够实现异步爬取,节省时间,其实本文纯粹的按照之前的思维来做,
也不是不可以,但是感觉速度太慢了,毕竟数据量有点大
框架内容也在网上找找例子吧想学习可以加Python学习(q-u-n )-227-435-450 即可获取,内附:开发工具和安装包,以及视频系统学习路线图
关于FineBI
3.直接说实现吧
使用
[python] view plain copy
scrapy startproject dingdian
创建项目
然后增加文件,最后代码目录如下:
[python] view plain copy
├── dingdian
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── __init__.py
│ └── mydingdian.py
主要程序:
mydingdian.py
定义的存贮内容即 items.py
设置相关 settings.py
最终的数据处理以及保存
pipelines.py