爬虫代理的数据缓存及网络延迟

为了提高客户的爬虫采集效率，降低目标服务器的反爬风险，一般爬虫代理关闭了目标服务器的缓存特性，每一次用户请求都真实进行转发，避免了服务器或防火墙因为反爬而出现的返回缓存数据，从而导致采集数据失真的情况。 当研发进行爬虫代理对比测试的时候，可能会发现一个现象，有一些爬虫代理每次请求的延迟都很稳定，而另外一部分爬虫代理产品会出现第一次HTTP请求延迟很高，接下来大量的请求延迟非常低（甚至低于服务器响应时间）的假象，如下图

在这里插入图片描述

上图的情况就是这类代理服务器缓存了数据，然后爬虫程序请求相同链接的时候，会出现重复数据并且延迟很低的情况，这种情况下爬虫程序难以分辨是不是目标服务器反爬策略引起的，并且会给用户造成一种代理服务器网络延迟低的假象。因此一定要选择关闭了目标服务器缓存特性的爬虫代理产品。