scrapy的简单使用

2020-01-24 09:35:14 浏览数 (2)

使用之前的创建虚拟环境方法(pipenv)

创建虚拟环境并进入虚拟环境

代码语言:javascript复制
mkdir douban 
cd douban
pipenv install
pipenv shell

再安装我们的scrapy

代码语言:javascript复制
pipenv install scrapy

然后创建项目

代码语言:javascript复制
scrapy startproject doubanmovie
cd doubanmovie
scrapy genspider douban_movie (这里加入你想要爬的网站url)

再使用pychram打开这个目录

写好代码后在pycharm下方点击终端输入

代码语言:javascript复制
scrapy crawl douban_movie
scrapy crawl douban_movie -o detail.json #为json格式保存
scrapy crawl douban_movie -o detail.jl #以行的形式保存
scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

运行任务

简单使用结束

0 人点赞