你试过使用Selenium爬虫抓取数据吗?

2019-12-12 12:38:16 浏览数 (1)

来源:http://www.51testing.com

  几个月前,记得群里一朋友说想用selenium去爬数据,关于爬数据,一般是模拟访问某些固定网站,将自己关注的信息进行爬取,然后再将爬出的数据进行处理。

  他的需求是将文章直接导入到富文本编辑器去发布,其实这也是爬虫中的一种。

  其实这也并不难,就是UI自动化的过程,下面让我们开始吧。

准备工具/原料

  1、java语言

  2、IDEA开发工具

  3、jdk1.8

  4、selenium-server-standalone(3.0以上版本)

 步骤

  1、分解需求:

  需求重点主要是要保证原文格式样式都保留:

  将要爬取文章,全选并复制

  将复制后的文本,粘贴到富文本编辑器中即可

  2、代码实现思路:

  键盘事件模拟CTRL A全选

  键盘事件模拟CTRL C复制

  键盘事件模拟CTRL V粘贴

  3、实例代码

 写在后面

  小编并不是特别建议使用selenium做爬虫,原因如下:

 速度慢:

  每次运行爬虫都要打开一个浏览器,初始化还需要加载图片、JS渲染等等一大堆东西;

 占用资源太多:

  有人说,把换成无头浏览器,原理都是一样的,都是打开浏览器,而且很多网站会验证参数,如果对方看到你恶意请求访问,会办了你的请求,然后你又要考虑更换请求头的事情,事情复杂程度不知道多了多少,还得去改代码,麻烦死了。

 对网络的要求会更高:

  加载了很多可能对您没有价值的补充文件(如css,js和图像文件)。 与真正需要的资源(使用单独的HTTP请求)相比,这可能会产生更多的流量。

星云测试

http://www.teststars.cc

奇林软件

http://www.kylinpet.com

联合通测

http://www.quicktesting.net

0 人点赞