最新 最热

selenium设置proxy、headers(phantomjs、Chrome、Firefox)

文章参考:https://www.zhihu.com/question/35547395

2019-03-25
0

requests+selenium==requestium模块介绍

有时,你可能会在网上实现一些自动化操作。比如抓取网站,进行应用测试,或在网上填表,但又不想使用API,这时自动化就变得很必要。Python提供了非常优秀的Requests库可以辅助进行这些操作。可惜,很多网站采用基于JavaScript的...

2019-03-25
0

Selenium + Chrome Diver密码认证的HTTP代理

默认情况下,Chrome的–proxy-server=”http://ip:port”参数不支持设置用户名和密码认证。这样就使得”Selenium + Chrome Driver”无法使用HTTP Basic Authentication的HTTP代理。一种变通的方式就是采用IP地址认证,但...

2019-03-25
0

selenium保存静态网页

用到的工具有chromedriver,pywin32和selenium。chromedriver安装配置过程自行百度,需要注意的是chromedriver和chrome的版本号需要一一对应,否则会出现不必要的报错。...

2019-03-25
0

用 Python 登录主流网站,我们的数据爬取少不了它

项目地址:https://github.com/CriseLYJ/awesome-python-login-model

2019-03-19
0

2019 Selenium Chrome版本与chromedriver兼容版本对照表

在使用selenium启动谷歌Chrome浏览器的时候,是需要用到chromedirver的,两者之间的版本是需要匹配的,否则会出现下面类似的报错:

2019-03-15
0

Selenium最新版本不再支持PhantomJS

今天想对《自动读取单位某系统数据》一文中的项目做些优化,将Selenium+firefox改为无界面的PhantomJS,出现如下错误:

2019-03-15
0

selenium webdriver 启动三大浏览器Firefox,Chrome,IE

1. 进入Python官方网站:https://www.python.org/downloads/  下载并安装最新版本的Python(建议安装Python3) 。

2019-03-11
0

selenium + firefox + webdriver 遇到的坑

采用多线程调用webdriver时候,偶尔会出现这样的错:selenium.common.exceptions.WebDriverException: Message: connection refused

2019-03-11
0

centos7无GUI情况安装Xvfb、selenium、chrome

最近需要用到selenium浏览器抓取,在windows下对照chrome浏览器开发的代码,在linux服务器上换成phantomjs驱动后,却不能运行了,通过截图发现phantomjs渲染效果和chrome不同。于是考虑在centos上安装chrome浏览器。...

2019-03-11
0