自动化收取你的163邮箱信息
【今日知图】
行数移动
代码语言：javascript复制gg 英文单词go 文件顶部
G 文件末尾
数字gg 移动到数字对应行数
数字G 移动到数字对应行数
:数字 移动到数字对应行数
0.说在前面1.模拟登陆2.收件箱信息3.结果展示4.作者的话
0.说在前面
【需求】
由于需求，我最近自己搞了两个大项目，哈哈，开个玩笑，比较小~~
需求一：对知乎所有评论进行可视化及知识图谱建立，利用机器学习基神经网络训练知识图谱，进一步的增强用户的联系，扩充实体关联，这个就比较难了，还在进行时，哈哈~~
需求二：就是大家看到的标题，163邮箱问题，我想下载我邮箱里面的所有数据，比如收件箱的信息及附件等。今天分享163邮箱模拟登录及收件箱信息爬取~~
【吐槽】
这两天特别累，事情特别多~~还是坚持给各位发文章，保证每日一篇
不管怎么样，还是坚持下去！
【技术点】
采用selenium模拟登录，利用xpath提取数据~~
下面我们一起来看163问题~~
1.模拟登陆
分析
如下图所示，我们先来定位一下，登录的基本信息~
当我们第一次打开这个页面的时候，iframe是刷新以后才可以登录，所以必须得等它动态加载完毕，才可以~
封装
初始化，我们定义了三个list分别存储，邮件标题，收件箱的信息来自于某位用户，以及邮件时间。
代码语言：javascript复制 def __init__(self):
# 调用Chrome Driver登陆163邮箱
driver = webdriver.Chrome()
self.driver = driver
title_list = []
sender_list = []
time_list = []
self.title_list = title_list
self.sender_list = sender_list
self.time_list = time_list
模拟登陆
如下图定位：
def login(self):
# 等待页面完全加载
self.driver.implicitly_wait(15)
self.driver.get('http://mail.163.com/')
# 因为163登录入口在iframe里面，所以先要切换到iframe
frame = self.driver.find_element_by_xpath('//iframe[starts-with(@id,"x-URS-iframe")]')
self.driver.switch_to.frame(frame)
# 使用driver将账号密码填进表单并提交
# 填入用户名及密码
self.driver.find_element_by_xpath("//input[@name='email']").send_keys('xxx@163.com')
self.driver.find_element_by_xpath("//input[@name='password']").send_keys('xxxx')
self.driver.find_element_by_id('dologin').click()
return self.driver
2.收件箱信息
数据抽取
这里将数据进行抽取，提取出标题，邮件来自，时间，如下图：
def page_Info(self,html):
selector = etree.HTML(html)
text = selector.xpath('//div[@sign="letter"]/@aria-label')
print(text)
for each_text in text:
print(each_text)
email_title = each_text.split('发件人 ：')[0].strip()
self.title_list.append(email_title)
print(email_title)
email_sender = each_text.split('发件人 ：')[1].split('时间：')[0].strip()
self.sender_list.append(email_sender)
print(email_sender)
email_time = each_text.split('发件人 ：')[1].split('时间：')[1].strip()
self.time_list.append(email_time)
print(email_time)
print(self.title_list)
print(self.sender_list)
print(self.time_list)
单页面处理
首先进行登录，登陆后，让页面刷新完成后，所以这里设置了10秒后爬起，定位到收件箱，进行自动化点击，调用上述方法进行爬取！
同时可以在当前页获取总页面数！如下图所示，1/2通过取出最后一个数字便为总页面数！
def process_Info(self):
driver = self.login()
time.sleep(10)
driver.switch_to.default_content()
# 点击收件箱按钮加载邮件列表
driver.find_element_by_id('_mail_component_67_67').click()
time.sleep(5)
driver.switch_to.default_content()
# 获取总的翻页数
sum_page = int(driver.find_element_by_class_name('nui-select-text').text.split('/')[-1])
print('总页数为 ' str(sum_page) "页")
html = driver.page_source
print(html)
self.page_Info(html)
多页面数
还是上述那个页面，我们可以定位到下一页的标签，进行自动化点击，抓取下一页数据即可！
for i in range(1,sum_page):
time.sleep(7)
driver.switch_to.default_content()
# 点击下一页按钮加载邮件列表
email_ext = driver.find_element_by_class_name('nui-toolbar-ext')
email_ext = email_ext.find_elements_by_class_name('nui-toolbar-item')[-2]
email_ext = email_ext.find_elements_by_tag_name('div')[-1]
email_ext.click()
time.sleep(7)
driver.switch_to.default_content()
html = driver.page_source
print(html)
self.page_Info(html)
3.结果展示
