kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception

2022-05-20 08:18:44 浏览数 (1)

目前,在使用社区版的kylin-2.3.1版本时,streaming cube在第一步就报错了,通过查看MR的错误日志,发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示:

通过错误日志分析,应该是缺少lz4相关包导致的,我们登陆kylin的部署服务器,查看kafka部署的客户端路径下,发现有lz4相关的包:

因此,猜测是相关的包,在执行MR任务的时候,没有提交到yarn上。因此,我们将libs/lz4-1.3.0.jar上传到$KYLIN_HOME/conf/kylin.properties中kylin.engine.mr.lib-dir配置项所指定的HDFS路径上,然后重启job服务器,问题解决。

注:kylin.engine.mr.lib-dir指定的HDFS路径中,包括了执行MR/Spark任务所需要的一些依赖jar,我们环境的路径下,目前包含了如下的这些jar:

0 人点赞