17/10周四 晴整体思路：1 使用我们最近讲的selenium模块进行模拟浏览器爬取2 网页解析使用 xpath（底层为c语言，效率高）3保存为csv数据需要的模块：impo

Selenium爬取京东衣服评论16/10周三 晴需要的模块：from selenium import webdriverfrom lxml import etreeimport ti

Selenium的使用14 /10周一阴1 动态渲染页面爬取对于访问Web时直接响应的数据（就是response内容可见），我们使用urllib、requests或Scrapy框架爬取。

几乎每个网站都有一个名为robots.txt的文档，当然也有有些网站没有设定。对于没有设定robots.txt的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面的数据都可以爬取。如果网站有文件robots.txt文档，就...

使用selenium登录某宝，套路也很一样，今天就给大家简单的讲哈，只供学习交流哈。

GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者...

做 web 项目，测试是无法避免的。对于某些特定功能，采用单元测试就行。但如果想对网站进行整体测试，人工点击测试可行但有点累，如果能借助自动化测试工具就更好了。selenium 就是一款能满足这样要求的测试工具，selenium 是...

吴老的java版《selenium webdriver3 实战宝典》和python版《selenium Webdriver 3.0 自动化测试框架实战指南》出版了，代码拿来就能用。

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则...

注意:最新版本的selenium停止对PhantomJS的支持(可以使用谷歌&火狐的无头浏览器)，如果还想用PhantomJS，需要对selenium降级