在我们数据采集的过程中,会出现有的服务器提供SOCKS5代理服务,有的则是HTTP代理服务,如果我们需要的是HTTP代理服务,我们就得想办法把SOCKS5代理转化成HTTP代理,具体要怎么做呢?实际上,非常简单!
使用privoxy
具体要如何操作?来来来,今天就来具体展示一下要如何利用privoxy,将SOCKS5代理转化成HTTP代理。
1.下载并安装privoxy
2.解压,想放哪里放哪里,只要你记得在哪
3.进入privoxy目录,打开config.txt,配置privoxy
代码语言:javascript复制sudo vi /etc/privoxy/config
4.修改本地IP的HTTP代理监听的IP和端口
代码语言:javascript复制listen-address localhost:8118
5.修改本地socks的端口
代码语言:javascript复制forward-socks5t / 127.0.0.1:1080 .
listen-address 127.0.0.1:8118
127.0.0.1:8118为转换成HTTP代理后的地址和端口。
也就是主要修改的是这几项:
代码语言:javascript复制#http代理绑定的地址
listen-address localhost:8118
#设置socks5代理的转发
# 末尾的 . 不要删掉
forward-socks5t / 127.0.0.1:1080 .
listen-address 127.0.0.1:8118
#由于网络不稳定,经常出现503,增加转发重试
#默认: 0
forwarded-connect-retries 3
#配置最大客户端的连接
#默认: 128
max-client-connections 256
#用于开启和关闭广告过滤和内容过滤,1表示开启,0表示关闭
#默认:1
toggle 0
7.启动privoxy.exe
代码语言:javascript复制/usr/local/sbin/privoxy /usr/local/etc/privoxy/config
8.使用http代理
代码语言:javascript复制# http://127.0.0.1:8118 为配置的listen-address
export http_proxy='http://127.0.0.1:8118'
export https_proxy=$http_proxy