我们可能有时需要关注某个网站的通知更新，以便进行后续操作。比如，时常查看官网的报名通知。但如果手动去看，比较麻烦也容易忘记，所以如果有程序自动监控就比较方便。...

我们在编写程序尤其是与网络请求相关的程序，如调用web接口、运行网络爬虫等任务时，经常会遇到一些偶然发生的请求失败的状况，这种时候如果我们仅仅简单的捕捉错误然后跳过对应任务，肯定是不严谨的，尤其是在网络爬虫中，会存...

对于这种数据可以利用 json 模块将 json 字符串直接转化为字典格式的数据，字典为 {key：value} 型，之后再对应提取我们想要的字段。

爬虫是 IO 密集型任务，比如我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何的事情。...

[ 相关文章 ] 每日一练：Python 爬虫爬取全国新冠肺炎疫情数据实例详解，使用 beautifulsoup4 库实现

通过上文现在我们有了一些基本的概念了，现在应该接触实际的操作了，因为懂得原理和实践还是有很大差距的。

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。可以为什么我们需要建立自己的搜索引擎呢？毕竟我们已经有google可以使用。这里我列出3点原因：...

HttpWatch网络抓包工具是专为IE浏览器集成的一款网络拽包工具。

最近在分析一些数据的过程中，需要寻找这些标记数据，才发现是没有办法下载到的。想想只能靠爬虫了。

当前很多网站都提供了POI的下载界面，但是一般都需要KEY来实现。然而每个KEY(正常是个人请求的)一般每天配额度也就1000条，这对于想要大量POI数据的需求获取而言，简直是杯水车薪。...