在成功的在crawlab里安装了nodejs环境后,遇到了一个问题就是nodejs的包依赖安装。官方自带的包依赖,可以安装全局npm包,但是爬虫脚本里面的依赖这个问题需要自己解决。
一、全局依赖安装
官方自带的nodejs依赖管理工具安装的包可以安装全局依赖。这里正常工作的前提是你必须在主镜像里安装好nodejs,并且配置好nodejs的bin目录的PATH环境变化。我们按照官方的指引安装包管理工具,然后安装下whistle
二、爬虫依赖安装
每次执行爬虫都安装npm依赖是比较差的体验,对于爬虫任务里面的包,可以使用pnpm来进行依赖安装。pnpm使用链接的方式,可以避免每次都下载npm包。先要全局安装下pnpm然后新建一个任务,如下配置