python爬虫学习(2)——requests模块

2024-05-28 08:31:18 浏览数 (2)

一、requests模块是什么?

简单来说:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。

作用:模拟浏览器发请求。

二、如何使用:(requests模块的编码流程)

1.指定URL; 2.发起请求; 3.获取响应数据; 4.持久化存储;

三、使用步骤(爬取搜狗首页的页面数据)

1.引入库(环境安装)

代码语言:javascript复制
pip install requests

2.完整代码

代码语言:javascript复制
#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求:爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
    #step1: 指定url
    url = 'http://www.sogou.com/'
    #step2: 发起请求
    #git方法会返回一个响应对象;
    response = requests.get(url=url)
    #step3: 打印响应数据(在响应对象里面)
    page_text = response.text
    print(page_text)
    #step4: 保存响应数据到文件(持久化存储)
    with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print('保存成功!')

3.运行代码爬取成功


总结

`Python代码使用requests库从指定的网址下载网页内容, 然后将其保存到本地文件中, 最后打印出保存成功的消息。

0 人点赞