搭建scrapy框架[通俗易懂]

2022-11-09 17:01:23 浏览数 (1)

大家好,又见面了,我是你们的朋友全栈君。

1.安装scrapy

代码语言:javascript复制
修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple

安装
pip install scrapy

补充:

更新安装 pip install -U scrapy

如果windows报错说没有磁盘访问权限可用这个命令 pip install –user scrapy

2.检验scrapy是否安装成功

代码语言:javascript复制
scrapy

3.创建scrapy项目

代码语言:javascript复制
scrapy startproject spider0609

4.创建蜘蛛程序

代码语言:javascript复制
scrapy genspider douban movie.douban.com

5.pycharm打开项目并运行

pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add

第一步:以管理员身份运行powershell 第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。 第三步:执行:set-ExecutionPolicy RemoteSigned 第四步:选择Y,回车

再次打开terminal即可解决

虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)

scrapy crawl douban -o douban.csv

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

0 人点赞