Python考核内容

2022-11-30 18:56:58 浏览数 (1)

目标网站：

代码语言：javascript复制

https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=0

前置环境需求

代码语言：javascript复制

pip3 config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple
pip3 config list
pip3 install --upgrade pip
pip3 install requests
pip3 install scrapy

爬取需求：前五页的以下内容

1、课程标题 2、主讲人 3、章节数 4、学习时长 5、学习人数 6、课程简介

文件保存需求：

将5页内容的所有课程以每门课程一个【课程名称.txt】文件的方式进行保存。

如果有异常链接:内容为空的try:except:跳过

页码逻辑：page_index=[0-4]

代码语言：javascript复制

https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=0
https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=1
https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=2
https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=3
https://www.51moot.net/main/course?search_id=0&is_free=-1&page_index=4

所以一个循环搞定。