— 图片：xpath解析出图片src的属性值。单独的对图片地址发起请求获取图片二进制类型的数据。

导读：Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。...

因为我是同时安装anaconda和python3.7，所以在使用pip的时候总是会显示anaconda中已经安装（众所周知），就很烦 。一气之下，挂着VPN并且在CMD中使用conda install scrapy，然后安装好。 PS：也有可能直接使用conda install scrapy...

相信大家对暗网这个概念并不陌生，众所周知，暗网藏着一个暗黑版的交易市场，各种违法工具比比皆是，俨然一个网络犯罪分子聚集的“虎狼之穴”。我们使用Tor浏览器等可以轻松访问暗网中的浅层网，主要是黄赌毒和数据情报信息，如...

经过一个多月的努力，终于把 Python 相关的文章更新完毕，这些文章主要包括两大模块：爬虫系列和 Python 进阶系列。

上一篇文章：Scrapy源码剖析（三）Scrapy有哪些核心组件？我们已经分析了 Scrapy 核心组件的主要职责，以及它们在初始化时都完成了哪些工作。

在上一篇文章：Scrapy源码剖析（二）Scrapy是如何运行起来的？我们主要剖析了 Scrapy 是如何运行起来的核心逻辑，也就是在真正执行抓取任务之前，Scrapy 都做了哪些工作。...

在上篇文章：Scrapy源码剖析（一）架构概览，我们主要从整体上了解了 Scrapy 的架构和数据流转，并没有深入分析每个模块。从这篇文章开始，我将带你详细剖析 Scrapy 的运行原理。...

在爬虫开发领域，使用最多的主流语言主要是 Java 和 Python 这两种，如果你经常使用 Python 开发爬虫，那么肯定听说过 Scrapy 这个开源框架，它正是由Python编写的。...

通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本1.8.0