安装
pip install scrapy scrapy startproject stock//创建文件夹 scrapy genspider stock xxxxx(域名) //创建爬虫py文件 scrapy crawl stock -o xxx.json// spider中必须包含stock.py文件 scrapy crawl stock//运行 scrapy -h //查看scrapy命令,包含调试窗口
爬虫,全文检索查询关键字
项目结构
scrapy.cfg: 项目的配置文件 stock/: 该项目的python模块。在此放入代码(核心) stock/items.py: 项目中的item文件,建立一个对象,scrapy.Field(serializer=str)创建对象成员 stock/pipelines.py: 项目中的pipelines文件.,每一个爬虫爬取后存储的item对象都会在piplines中调用 stock/settings.py: 项目的设置文件,scrapy中间件激活,需要配置setting.py文件,# Enable or disable downloader middlewares stock/spiders/: 放置spider代码的目录. (放爬虫的地方) ,scrapy list 可以查看爬虫文件 参考:https://www.cnblogs.com/dcpeng/p/12436451.html