上一篇给大家仔细讲解了如何用Xpath分类爬取医疗信息网站医疗器材名称和介绍图片，以及三种最常用的存储方法。

上一篇文章Scrapy实战5：Xpath实战训练中给大家讲解并带着大家实战训练了Xpath，爬取了伯乐在线文章的基本信息，并且介绍scrapy里的shell调试模式使用，还是很实用的哈。...

下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。

命令执行完，用Python最好的IDE---pycharm打开该文件目录，会在你的当前目录创建如下文件目录。

使用之前的创建虚拟环境方法（pipenv）创建虚拟环境并进入虚拟环境mkdir douban cd doubanpipenv installpipenv shell再安装我们的scrapypipenv install scrapy然后创建项目scrapy startproject doubanmovi......

新建用户，切换到新用户之后pip不能用了，还原/usr/bin/pip3的设置如下

https://www.hamburgsud-line.com/liner/en/liner_services/ecommerce/track_trace/index.html

今天在安装scrapy的时候（pip install Scrapy），出现了如下错误：

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则...

scrapy是一个为了爬去网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取