今天小婷儿给大家分享的是scrapy shell。
scrapy shell
一、scrapy shell
1、安装pip install Jupyter
2、在pycharm中的启动命令： scrapy shell
注：启动后关键字高亮显示
3、查看response
执行scrapy shell http://www.521609.com，查看response
二、Scrapyshell 使用细节
注：调用：scrapy shell https://www.xxx.com/
1、Scrapyshell 终端是一个交互终端
我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据；
2、Jupyter
如果安装了 Jupyter ，Scrapy终端将使用 Jupyter (替代标准Python终端)。 Jupyter 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。推荐安装Jupyter；
3、response
当shell载入后，将得到一个包含response数据的本地 response 变量，输入response.body将输出response的包体，输出 response.headers 可以看到response的响应头；
4、response.selector
输入 response.selector 时， 将获取到一个response 初始化的类 Selector 的对象，此时可以通过使用 response.selector.xpath()或response.selector.css() 来对 response 进行查询；
5、执行命令
1）scrapy shell http://www.ichong123.com/pics/
2）执行：li_list = response.xpath('//ul[@class="conlist cf"]/li')
3）执行：len(li_list) 证明有数据
4）执行：li_list[0].xpath('.//img/@src').extract_first()得到图片
5）执行：li_list[0].xpath('.//a/text()').extract()[0]得到图片名字
以上是Scrapyshell 的基本使用，谢谢关注！！！
