大家好,又见面了,我是你们的朋友全栈君。
1.安装scrapy
代码语言:javascript复制修改镜像,全局设置,只需要设置一次
pip config set global.index-url https://pypi.doubanio.com/simple
安装
pip install scrapy
补充:
更新安装 pip install -U scrapy
如果windows报错说没有磁盘访问权限可用这个命令 pip install –user scrapy
2.检验scrapy是否安装成功
代码语言:javascript复制scrapy
3.创建scrapy项目
代码语言:javascript复制scrapy startproject spider0609
4.创建蜘蛛程序
代码语言:javascript复制scrapy genspider douban movie.douban.com
5.pycharm打开项目并运行
pycharm->open->spider0609->file->setting->project->python interpreter 配置虚拟环境->add
第一步:以管理员身份运行powershell 第二步:执行:get-ExecutionPolicy 回复Restricted,表示状态是禁止的。 第三步:执行:set-ExecutionPolicy RemoteSigned 第四步:选择Y,回车
再次打开terminal即可解决
虚拟环境安装scrapy(之前装是装在全局环境的,现在是给虚拟环境装)
scrapy crawl douban -o douban.csv
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。