最新 最热

pytest文档8-html报告报错截图+失败重跑

做web自动化的小伙伴应该都希望在html报告中展示失败后的截图,提升报告的档次,pytest-html也可以生成带截图的报告。

2018-08-17
0

21天打造分布式爬虫-Selenium爬取拉钩职位信息(六)

6.1.爬取第一页的职位信息第一页职位信息from selenium import webdriverfrom lxml import etreeimport reimport timeclass LagouSpider(object): def __init__(self): s...

2018-08-10
0

数据抓取实践:对加密参数及压缩混淆 JS 的逆向分析

本文会介绍几种分析技巧,需要一点前端知识(总感觉在前端做防爬没什么意义,因为源码都是公开的)。文末附上爬虫 Demo 验证,虽然对于这个案例来说使用 Selenium 可能才是合适的解决方法,但暴力破解才是男人的浪漫!...嗯本文的...

2018-08-08
0

为什么Selenium点不到元素

最近做了许多登陆项目,我会优先选择使用requests来模拟请求,但是有些参数实在是很难获取,这个时候我会使用Selenium,也还是遇到了各种坑,也算是见识到了很多的验证措施。...

2018-08-08
0

空姐如何服务好“上帝”?让这份乘客满意度数据指南告诉你

大数据的应用无处不在,从“文化娱乐”到“职业发展”,再到今天的“交通运输”,大数据的分析与洞察总能带来商业社会巨大价值。本期数据侠Kathryn Bryant爬取了专业航旅点评网站的数据,通过特定的算法和分析,她惊奇地发现美...

2018-08-08
0

Python爬虫之撩妹篇—微信实时爬取电影咨询

“ 本文将介绍如何使用爬虫在微信对话中实现实时的电影咨询爬取功能,希望和大家一起来分享”

2018-08-06
0

用 selenium 和 scrapy 模拟知乎登录

这个是看一个视频学来的,视频给出的教程部分失效,因为知乎的登录页面改了。我进行一点修改就可以登录了,本文主要是记录

2018-08-03
0

用自动化测试工具selenium来揭露骗局的真相selenium进行页面滚动关闭chrome浏览器自动加载图片使用headless模式运行chrome删除页面上元素爬取结果分析源码

前几天写了用爬虫来揭露约稿骗局的真相,但实际上对于动态加载的数据来说,用程序爬取比较困难,在这种情况下,可以使用selenium来模拟浏览器行为,达到同样目的。...

2018-08-02
0

高阶爬虫实战:破解极验滑动验证码

今天给大家带来的是极验验证码的selenium破解之法,是不是有点小激动呢,小伙伴们等不及了,让我们赶紧直入主题吧。

2018-07-27
0

哪些年从事自动化测试需要经历的往事

在实战中,又去接触了watir,即ruby版的selenium,又是一通的直接看源码,顺便学习和了解ruby

2018-07-25
0