需求:之前使用node做爬虫的时候,使用puppeteer来模拟浏览器
然后抓取信息
但是这样的效率和消耗太大了,
所以需要一种更为效率的方法:直接使用axios来请求对应的url
然后通过jsDom,渲染成一个虚拟的html然后进行取值
废话不多说直接上代码:
先安装jsdom
代码语言:javascript复制npm i jsdom
然后写下面实例化
代码语言:javascript复制const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
console.log(dom.window.document.querySelector("p").textContent); // "Hello world"
基础的代码逻辑明白了之后,
把它使用到我们正常的业务里面:
代码语言:javascript复制axios
.get(url)
.then((res) => {
//注意:需要先return 一次 再下一个回调里面进行渲染,因为获取的html数据多的时候 就可能导致实例化失败
return res.data;
})
.then((html) => {
let dom = new JSDOM(`${html}`);
//抓取到想要的元素的信息
console.log(
dom.window.document.querySelector(".product-single__title").textContent
);
});
参考地址:https://www.npmjs.com/package/jsdom