Scrapy笔记

2022-07-14 16:35:22 浏览数 (1)

快捷启动.py

代码语言:javascript复制
from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'ZhiLianZhaoPin'])
创建Scrapy爬虫项目

调出 CMD,输入如下代码并按【Enter】键,创建 Scrapy 爬虫项目:

scrapy startproject stockstar

其中 scrapy startproject 是固定命令,stockstar 是工程名字。

settings.py中关闭遵循robot

ROBOTSTXT_OBEY=False

创建Scrapy爬虫

scrapy genspider stock quote.stockstar.com

名称 允许爬取域名

0 人点赞