项目创建完成后可以看到在工程创建的位置有了douban文件夹，打开以后包含了上述的组件，可以使用spyder,pycharm等ide打开项目

何为框架，就相当于一个封装了很多功能的结构体，它帮我们把主要的结构给搭建好了，我们只需往骨架里添加内容就行。scrapy框架是一个为了爬取网站数据，提取数据的框架，我们熟知爬虫总共有四大部分，请求、响应、解析、存储，scra...

scrapy是一个网络爬虫的通用框架，在许多应用当中可以用于数据提取，信息处理等。如何安装scrapy呢？如果你安装了Anaconda，则可以使用：conda install scrapy进行安装，如果没有，但电脑中需带有python的程序，使用该命令进行安装：pi...

https://blog.csdn.net/fly_yr/article/details/51540269

scrapy里面，对每次请求的url都有一个指纹，这个指纹就是判断url是否被请求过的。默认是开启指纹即一个URL请求一次。如果我们使用分布式在多台机上面爬取数据，为了让爬虫的数据不重复，我们也需要一个指纹。但是scrapy默认...

python链家网二手房异步IO爬虫，使用asyncio、aiohttp和aiomysql

可以到https://www.lfd.uci.edu/~gohlke/pythonlibs/  下载 pywin32，lxml，Twisted，scrapy然后pip安装

scrapy的下载器有Request和FormRequest两种，分别用来处理get请求和post请求

安装scrapy要先安装前面四个，不然就会出现 errror:Microsoft Visual C++ 14.0 is required 错误。

三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的