Selenium最新版本不再支持PhantomJS
今天想对《自动读取单位某系统数据》一文中的项目做些优化,将Selenium firefox改为无界面的PhantomJS,出现如下错误:
代码语言:javascript复制UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
百度:意思是说Selenium不再支持PhantomJS,请用无界面版本的chrome或firefox代替。
- 完美解决方法转发自这个博客:Selenium PhantomJS使用时报错原因及解决方案
- 在使用
webdriver
驱动器文件时,建议还是将其解压至某个目录,再手动指定executable_path
参数,省得去设置环境参数(主要是因为我的mac里设置后总是不能用)。
使用无界面浏览器
Selenium Headless Firefox
Selenium Headless Firefox
和Selenium Firefox
,区别就是实例option
的时候设置-headless
参数。
前提条件:
- 本地安装Firefox浏览器
- 本地需要geckodriver驱动器文件,如果不配置环境变量的话,需要手动指定
executable_path
参数。
示例代码:
代码语言:javascript复制from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options
def main():
options = Options()
options.add_argument('-headless')
driver = Firefox(executable_path='./geckodriver', firefox_options=options)
driver.get("https://www.qiushibaike.com/8hr/page/1/")
print(driver.page_source)
driver.close()
if __name__ == '__main__':
main()
Selenium Headless Chrome
与Firefox
类似,双手奉上。
前提条件:
- 本地安装Chrome浏览器
- 本地需要chromedriver驱动器文件,如果不配置环境变量的话,需要手动指定
executable_path
参数。
示例:
代码语言:javascript复制from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def main():
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=chrome_options)
driver.get("https://www.baidu.com")
print(driver.page_source)
driver.close()
if __name__ == '__main__':
main()