QueryList使用jQuery的方式来做采集,拥有丰富的插件。下面来演示QueryList使用PhantomJS插件抓取JS动态创建的页面内容。
一、安装
使用Composer安装:
1.安装QueryList
composer require jaeger/querylist
GitHub: https://github.com/jae-jae/QueryList
2.安装PhantomJS插件
composer require jaeger/querylist-phantomjs
GitHub: https://github.com/jae-jae/QueryList-PhantomJS
二、下载PhantomJS二进制文件
PhantomJS官网:http://phantomjs.org ,下载对应平台的PhantomJS二进制文件。
三、插件API
QueryList browser(url,debug = false,
四、使用
以采集「今日头条」手机版为例,「今日头条」手机版基于React框架,内容是纯动态渲染出来的。
下面演示QueryList的PhantomJs插件用法:
1.安装插件
代码语言:javascript复制use QLQueryList;
use QLExtPhantomJs;
$ql = QueryList::getInstance();
// 安装时需要设置PhantomJS二进制文件路径
$ql- use(PhantomJs::class,'/usr/local/bin/phantomjs');
//or Custom function name
$ql- use(PhantomJs::class,'/usr/local/bin/phantomjs','browser');
2.Example-1
获取动态渲染的HTML:
代码语言:javascript复制$html = $ql- browser('https://m.toutiao.com')- getHtml();
print_r($html);
获取所有p标签文本内容:
代码语言:javascript复制$data = $ql- browser('https://m.toutiao.com')- find('p')- texts();
print_r($data- all());
输出:
代码语言:javascript复制Array(
[0] = 自拍模式开启!国庆假期我和国旗合个影
[1] = 你旅途已开始 他们仍在自己的岗位上为你的假期保驾护航
[2] = 喜极而泣,都教授终于回到地球了! //....)
使用http代理:
代码语言:javascript复制// 更多选项可以查看文档:
http://phantomjs.org/api/command-line.html
$ql- browser('https://m.toutiao.com',true,[
// 使用http代理
'--proxy' = '192.168.1.42:8080', '--proxy-type' = 'http'
])
3.Example-2
自定义一个复杂的请求:
代码语言:javascript复制$data = $ql- browser(function (JonnyWPhantomJsHttpRequestInterface $r){
$r- setMethod('GET');
$r- setUrl('https://m.toutiao.com');
$r- setTimeout(10000); // 10 seconds
$r- setDelay(3); // 3 seconds
return $r;
})- find('p')- texts();
print_r($data- all());
开启debug模式,并从本地加载cookie文件:
代码语言:javascript复制$data = $ql- browser(function (JonnyWPhantomJsHttpRequestInterface $r){
$r- setMethod('GET');
$r- setUrl('https://m.toutiao.com');
$r- setTimeout(10000); // 10 seconds
$r- setDelay(3); // 3 seconds
return $r;
},true,[
'--cookies-file' = '/path/to/cookies.txt'
])- rules([
'title' = ['p','text'],
'link' = ['a','href']
])- query()- getData();
print_r($data- all());