scrapy是基于事件驱动的Twisted框架下用纯python写的爬虫框架。很早之前就开始用scrapy来爬取网络上的图片和文本信息，一直没有把细节记录下来。这段时间，因为工作需要又重拾scrapy爬虫，本文和大家分享下，包你一用就会， 欢...

网上的关于django-scrapy的介绍比较少，该博客只在本人查资料的过程中学习的，如果不对之处，希望指出改正；

Github：https://github.com/xbhog/scrapyRedis

不知从什么时候开始。小说开始掀起了一股浪潮，它让我们平日里的生活不在枯燥乏味，很多我们做不到的事情在小说里都能轻易实现。

在前面几篇文章中我们已经学会了如何了编写Spider去获取网页上所有的文章链接及其对应的网页目标信息。在这一篇文章中，我们将主要介绍Scrapy中的Item。...

items定义了需要从网页中提取的结构化信息，middlewares称之为中间价，用于对request和response请求进行封装，pipelines用于对item近一步处理，比如去重等操作，而settings则用于设置各种信息。...

在scrapy框架中，Downloader Middlewares 称之为下载中间件， 可以对爬虫的requests请求进行封装处理，典型的应用有以下3种

来自于华为云开发者大会，使用Python爬虫抓取图片和文字实验，应用Scrapy框架进行数据抓取，保存应用了mysql数据库，实验采用的是线上服务器，而这里照抄全是本地进行，如有不同，那肯定是本渣渣瞎改了！...

运行平台：Windows 10 Python版本：Python 3.6.1 Scrapy版本：Scrapy 1.4.0 IDE：Sublime text3 浏览器：chrome

extract()0在没有值时，会出问题；extract_first()则可以很好地解决这个问题，没有值则赋值None（代码如上和下方）