最近学到了一个新鲜玩意，Python网页爬取数据脚本，今天我们就来试一试，python爬取数据到底有多方便。
下面直接放源代码：
代码语言：javascript复制from selenium import webdriver
from urllib import request
import re
import os
import datetime
print(datetime.datetime.now())
# 文档路径
filedir = "d:\tsldrb_pic\"
if not os.path.exists(filedir):
os.makedirs(filedir)
f = open("d:\urls.txt", "r", encoding='utf-8')
urls = f.readlines()
for url in urls:
print(url.replace('n', ''))
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)
data_content = request.urlopen(url.replace('n', ''))
content_text = data_content.read().decode()
result_title_time = re.search('(?<=content/).*(?=/content)', url.replace('n', '')) # 匹配content/和/content间时间
result_title = re.search('(?<=">).*(?=</h2)', content_text) # 匹配">和</h2间的标题
result_title_time.group().replace('/', '')
pic_name = result_title_time.group().replace('/', '') result_title.group().replace(' ', '') '.png'
driver.get_screenshot_as_file(filedir pic_name)
driver.close()
print(datetime.datetime.now())使用教程：
打开此电脑，随便到哪个目录新创一个txt文件，例如我这里使用的是E盘：
创建完之后在里面输入多个网址，并用“，”隔开：
另外下载pycharm，复制代码即可完成爬取txt文档里的多个网页数据。
