在爬虫工作中,工作任务通常较大,因此使用分布式和多线程进行工作是必要的。这就需要代理ip支持高并发,但是请求并发越高越好吗?
很多用户在选择代理产品时都会问是否支持高并发。实际上,许多代理产品都支持高并发,但是请求越多,访问速度就会变慢,有时还会超时,严重时甚至会导致代理服务器不稳定,无法连接。这是因为代理服务器的资源是有限的。
如果只有一个人使用独享池,那么使用高并发不会有太大的影响。但是,如果使用共享池,则一个人无限制地请求可能会影响到代理ip池中的其他用户,特别是同业务的用户,相互之间的影响会更加明显。尽管独享ip可以不受并发使用的限制,但其价格较高,且ip数量也比共享池要少。因此,无论使用共享池还是独享池,有限制地请求代理ip会更加高效。