520那天我向心仪的女孩要微信：“女神，能给我你的微信号吗？” 女神：“给我——爬！！！！” 从那天开始，我就决定要学好爬虫，爬到女神微信号！！！
文章目录
- 一、UA检测和UA伪装是什么？
- UA检测：
- UA伪装：
- 二、使用步骤
- 1.引入库
- 2、完整代码（web采集器）
- `
一、UA检测和UA伪装是什么？
UA检测：
UA检测是指服务器端对客户端请求中的User-Agent字段进行分析，以识别客户端使用的浏览器类型、版本、操作系统等信息。
UA伪装：
UA伪装则是指修改或伪造请求中的User-Agent字段，使服务器端识别为另一款浏览器或设备。 就是模拟浏览器；
二、使用步骤
1.引入库
import requests ``
2、完整代码（web采集器）
该处使用的url网络请求的数据。
代码语言：javascript复制if __name__=="_main__":
#UA伪装：将对应的user-agent信息封装到headers(字典)中
headers={
'User-Agent':' 伪装网站的'
}
url =' 想弄的网站 '
#处理url携带的参数：封装到字典中
kw=input("enter a word:")
param={
'query':kw
}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数（三个参数）
response=requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName =kw '.html'
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
print(fileName,'保存成功')
