在前天的公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中，我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何...

很多人喜欢使用Selenium 或者 Puppeteer(Pyppeteer)通过模拟浏览器来编写爬虫，自以为这样可以不被网站检测到，想爬什么数据就爬什么数据。

假设windows下安装好了python和pip。下面用pip安装爬虫库requests

首先我们本次爬虫的任务是完成某采购网站的信息爬取，省去人工耗费的时间。快速筛选出我们的需要的指定信息。然后将招标信息的标题、链接、和时间找出来，并保存到Excel。...

软开源了一个 Python 项目：Playwright，从此又多了一个浏览器自动化工具。之前一直用 selenium 或 splinter。

在scrapy框架中，Downloader Middlewares 称之为下载中间件， 可以对爬虫的requests请求进行封装处理，典型的应用有以下3种

目录一、小小课堂二、selenium+driver初步尝试控制浏览器三、完整代码四、运行结果链接：https://search.douban.com/book/subject_searc

python在使用selenium下载附件时，chrome,filefox都能自定义下载文件夹路径，而IE不行。 这样在自动化时，会相当麻烦，网上介绍了很多方法，都比较麻烦。 个人解决办法如下：...

windows下python常用库的安装，前提安装了annaconda 的python开发环境。只要已经安装了anaconda，要安装别的库就很简单了。只要使用pip即可，正常安装好python，都会自带pip安装 工具，在python的scripts安装目录下可以查看。...

项目地址：https://gitee.com/jixuanfan/Map-of-China