一、requests模块是什么?
简单来说:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
作用:模拟浏览器发请求。
二、如何使用:(requests模块的编码流程)
1.指定URL; 2.发起请求; 3.获取响应数据; 4.持久化存储;
三、使用步骤(爬取搜狗首页的页面数据)
1.引入库(环境安装)
代码语言:javascript复制pip install requests
2.完整代码
代码语言:javascript复制#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求:爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
#step1: 指定url
url = 'http://www.sogou.com/'
#step2: 发起请求
#git方法会返回一个响应对象;
response = requests.get(url=url)
#step3: 打印响应数据(在响应对象里面)
page_text = response.text
print(page_text)
#step4: 保存响应数据到文件(持久化存储)
with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
fp.write(page_text)
print('保存成功!')
3.运行代码爬取成功
总结
`Python代码使用requests库从指定的网址下载网页内容, 然后将其保存到本地文件中, 最后打印出保存成功的消息。