最新 最热

利用aiohttp异步爬虫实现网站数据高效抓取

大数据时代,网站数据的高效抓取对于众多应用程序和服务来说至关重要。传统的同步爬虫技术在面对大规模数据抓取时往往效率低下,而异步爬虫技术的出现为解决这一问题提供了新的思路。本文将介绍如何利用aiohttp异步爬虫...

2024-06-08
1

异步爬虫实战:实际应用asyncio和aiohttp库构建异步爬虫

在网络爬虫的开发中,异步爬虫已经成为一种非常流行的技术。它能够充分利用计算机的资源,提高爬虫效率,并且能够处理大量的运算请求。Python中的asyncio和aiohttp库提供了强大的异步爬虫支持,使得开发者能够轻松构建高效的...

2023-10-08
2

绕过HTTPS请求中的TLS特征识别及反爬机制

在使用 urllib.request 库进行 HTTPS 请求时,可能会出现 TLS 特征被识别的情况。这通常是因为目标网站的反爬机制检测到了你的请求不符合正常浏览器的请求特征,或者你的请求被检测到是从程序中发出的,而非浏览器。其中,一...

2023-02-28
1

初识aiohttp

上一篇写到了异步爬虫的操作,但是由于requests模块是同步模块会中止异步操作,所以这里要引入aiohttp。

2022-09-20
1

打开我的收藏夹 -- Python爬虫篇

这两天都没更新啥哈,太忙了。 今天这篇会比较特殊一些,因为爬虫我会的也写的差不多了,但是我还有一个背后隐藏能源还没拿出来用呢!!! 今天就打开这个隐藏能源,这可是一个大佬多年呕心沥血打造的,看看我能从中学到多少东西。...

2021-09-18
2

性能测试: Python3 利用asynico协程系统构建生产消费模型

今天研究了下python3的新特性 asynico ,试了试 aiohttp 协程效果,单核QPS在500~600之间,性能还可以。

2019-10-23
2