版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。

Selenium 是一个Web 的自动化测试工具，可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一...

Item 是保存爬取到的数据的容器。比如我下面将要爬取的链家网租房信息的地点、平米数、价格，我会在item.py文件中定义相应的字段。

前面几个章节利用 python 的基础库实现网络数据的获取、解构以及存储，同时也完成了简单的数据读取操作。在这个过程中使用了其他人完成的功能库来加快我们的爬虫实现过程，对于爬虫也有相应的 python 框架供我们使用「不...

今天通过创建一个爬取当当网2018年图书销售榜单的项目来认识一下Scrapy的工作流程

我是Python语言的忠实粉丝，它是我在数据科学方面学到的第一门编程语言。Python有三个特点：

这里的 __init__叫做 构造函数。它负责在类初始化为实例的时候，初始化必要的数据。如下图所示：

对Python爬虫如何实现大批量爬取感兴趣的读者可以看下scrapy爬虫框架，并且使用本文的scrapy-redis将你的爬虫升级为分布式爬虫。

摘要：爬虫过程中的反爬措施非常重要，其中设置随机 User-Agent 是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行汇总，提供一种只需要一行代码的设置方式。...

上一篇文章《爬虫利器初体验（1）》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些事发生呢？这一这篇文章我们一起来学习，如何健壮我们的爬虫代码。...