爬虫增加代理机制

代码语言：javascript复制

可采集的站点：

免费代理IP http://ip.yqie.com/ipproxy.htm
66免费代理网 http://www.66ip.cn/
89免费代理 http://www.89ip.cn/
无忧代理 http://www.data5u.com/
云代理 http://www.ip3366.net/
快代理 https://www.kuaidaili.com/free/
极速专享代理 http://www.superfastip.com/
HTTP代理IP https://www.xicidaili.com/wt/
小舒代理 http://www.xsdaili.com
西拉免费代理IP http://www.xiladaili.com/
小幻HTTP代理 https://ip.ihuan.me/
全网代理IP http://www.goubanjia.com/
飞龙代理IP http://www.feilongip.com/

新建IP.txt

代码语言：javascript复制

{'http':'183.247.215.218:80'}

新建demo.py

代码语言：javascript复制

import requests
import random
# #
# 打开文件，换行读取
f = open("IP.txt", "r")
file = f.readlines()

# 遍历并分别存入列表，方便随机选取IP
item = []
for proxies in file:
        proxies = eval(proxies.replace('n', '')) 
        item.append(proxies)

proxies = random.choice(item)  # 随机选取一个IP
print(proxies)

# #
response = requests.get("http://httpbin.org/ip",proxies=proxies)
data=response.json()
new=data['origin']

如果origin和你的代理IP一样则成功，报错可能是IP代理不能用了

http 爬虫 com ip 代理

0 人点赞