python爬虫请求网站然后抓取数据返回的过程之中，实际上是通过http超文本传输协议将自己的请求信息发送到了网站上等待响应，而网站响应之后就会返回状态码以及相关的数据回去。我们需要快速地对http请求返回的各种异常状态码来判断处理，以便于我们及时调整爬虫策略，优化思路，及时完成爬虫任务。
今天我们就来重点了解下http状态码返回504含义和解决方法，504 Proxy Gateway Timeout一般有2种情况，
1.代理正在切换IP，休息一段时间再试即可;
2.目标网站不可达，也就是目标网站封了代理IP，需要做爬虫优化。如果出现少量504属于正常情况。如大量出现，建议在不使用代理的情况下检查目标网站是否可以访问。 可能由目标网站的防护措施导致，建议请求时加上正确的cookie、referer、user-agent等。
在网站封IP的情况下返回504最好的解决办法就是添加代理IP，代理的选择需要看目标网站对IP的要求严不严，像一些大型新闻，电商，社交网站对IP的风控都很严，就需要通过使用优质代理IP才能帮助爬虫程序完成任务。经过对代理在速度，延迟，稳定性，IP池的大小，售后服务等各方面的数据考核，这里推荐有需要代理的小伙伴可以试试亿牛云代理，一家宝藏代理商，特别推荐爬虫隧道转发代理，使用更简单，对新手很友好，对一些想要节省爬取时间的项目来说更有利，使用方式这里示例下：
代码语言：javascript复制 #! -*- encoding:utf-8 -*-
import base64
import sys
import random
PY3 = sys.version_info[0] >= 3
def base64ify(bytes_or_str):
if PY3 and isinstance(bytes_or_str, str):
input_bytes = bytes_or_str.encode('utf8')
else:
input_bytes = bytes_or_str
output_bytes = base64.urlsafe_b64encode(input_bytes)
if PY3:
return output_bytes.decode('ascii')
else:
return output_bytes
class ProxyMiddleware(object):
def process_request(self, request, spider):
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
# [版本>=2.6.2](https://docs.scrapy.org/en/latest/news.html?highlight=2.6.2#scrapy-2-6-2-2022-07-25)无需添加验证头,会自动在请求头中设置Proxy-Authorization
request.meta['proxy'] = "http://{0}:{1}@{2}:{3}".format(proxyUser,proxyPass，proxyHost，proxyPort)
# 版本<2.6.2 需要手动添加代理验证头
# request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
# request.headers['Proxy-Authorization'] = 'Basic ' base64ify(proxyUser ":" proxyPass)
# 设置IP切换头(根据需求)
# tunnel = random.randint(1,10000)
# request.headers['Proxy-Tunnel'] = str(tunnel)
# 每次访问后关闭TCP链接，强制每次访问切换IP
request.header['Connection'] = "Close"
