使用FlareSolverr绕过CloudFlare的5s盾,比Selenium更省内存

2024-02-18 08:51:52 浏览数 (3)

  • 开源地址:https://github.com/FlareSolverr/FlareSolverr

前言

一直以来使用Selenium绕过Cloudflare请求Coinbase做上币监控,但是Selenium非常吃内存,2核4G的机子非常吃力,又在网上找其他的替代方式,发现还可以使用"FlareSolverr"绕过CloudFlare进行网页抓取。

搭建FlareSolverr

FlareSolverr需要单独搭建,使用docker容器可以一键部署 docker run -d --name=flaresolverr -p 8191:8191 -e LOG_LEVEL=info --restart unless-stopped ghcr.io/flaresolverr/flaresolverr:latest 搭建完成后,在浏览器输入http://ip:8191 (或设置反向代理后使用https://反代域名:8191)

浏览器显示:

代码语言:javascript复制
{"msg":"FlareSolverr is ready!","version":"v2.2.4","userAgent":"Mozilla/5.0 (X11; Linux x86_64; rv:94.0) Gecko/20100101 Firefox/94.0"}

就表示FlareSolverr已经搭建成功了。

##使用方式

  1. Example Bash request:
代码语言:javascript复制
curl -L -X POST 'http://localhost:8191/v1' 
-H 'Content-Type: application/json' 
--data-raw '{
  "cmd": "request.get",
  "url":"http://www.google.com/",
  "maxTimeout": 60000
}'
  1. Example Python request:
代码语言:javascript复制
import requests
    
    url = "http://localhost:8191/v1"
    headers = {"Content-Type": "application/json"}
    data = {
        "cmd": "request.get",
        "url": "http://www.google.com/",
        "maxTimeout": 60000
    }
    response = requests.post(url, headers=headers, json=data)
    print(response.text)

发表时间:2024-02-17

本站文章除注明转载/出处外,皆为作者原创,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

分享:

0 人点赞