Crawlab Nodejs爬虫之依赖安装

2022-08-29 20:20:45 浏览数 (1)

在成功的在crawlab里安装了nodejs环境后,遇到了一个问题就是nodejs的包依赖安装。官方自带的包依赖,可以安装全局npm包,但是爬虫脚本里面的依赖这个问题需要自己解决。

一、全局依赖安装

官方自带的nodejs依赖管理工具安装的包可以安装全局依赖。这里正常工作的前提是你必须在主镜像里安装好nodejs,并且配置好nodejs的bin目录的PATH环境变化。我们按照官方的指引安装包管理工具,然后安装下whistle

安装官方包管理插件安装官方包管理插件
在包管理里安装whistle在包管理里安装whistle
添加个爬虫任务测试下添加个爬虫任务测试下
可以看到,包已经支持直接使用了可以看到,包已经支持直接使用了

二、爬虫依赖安装

每次执行爬虫都安装npm依赖是比较差的体验,对于爬虫任务里面的包,可以使用pnpm来进行依赖安装。pnpm使用链接的方式,可以避免每次都下载npm包。先要全局安装下pnpm然后新建一个任务,如下配置

命令前面添加pnpm i命令前面添加pnpm i
简单添加几个包简单添加几个包
首次执行任务,可以看到安装的包首次执行任务,可以看到安装的包
再次执行任务,可以看到不用再安装包,只是添加了链接再次执行任务,可以看到不用再安装包,只是添加了链接

0 人点赞