Flink 1.10.1源码编译(CDH5.16.2)

2020-07-10 12:01:14 浏览数 (1)

1

文档编写目的

  • Flink1.10.1版本编译集成CDH5.16.2

前置条件

  • jdk
  • maven
  • nvm

2

源码编译

拉取flink1.10.1的代码后，idea中全局查找一下flink.shaded.version，确定应该选择的flink-shaded版本

编译flink-shaded

拉取代码

代码语言：javascript复制
git clone -b release-9.0 https://github.com/apache/flink-shaded.git

在pom中添加cloudera仓库

代码语言：javascript复制
<repositories>
 <repository>
     <id>cloudera</id>
     <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
 </repository>
</repositories>

执行编译命令指定hadoop版本为2.6.0-cdh5.16.2

代码语言：javascript复制
mvn clean install -DskipTests -Dhadoop.version=2.6.0-cdh5.16.2

编译Flink-1.10.1

在根pom中加入cloudera仓库

代码语言：javascript复制
<repositories>
 <repository>
     <id>cloudera</id>
     <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
 </repository>
</repositories>
找不到flink-avro-confluent-registry包

报错信息

代码语言：javascript复制
[ERROR] Failed to execute goal on project flink-avro-confluent-registry:
Could not resolve dependencies for project org.apache.flink:flink-avro-confluent-registry:jar:1.8-SNAPSHOT:
Could not find artifact io.confluent:kafka-schema-registry-client:jar:4.1.0 in nexus-aliyun
(http://maven.aliyun.com/nexus/content/groups/public) -> [Help 1]

手动下载包安装到maven本地仓库，下载链接：

http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/4.1.0/

代码语言：javascript复制
wget http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/4.1.0/kafka-schema-registry-client-4.1.0.jar

下载之后安装到本地仓库

代码语言：javascript复制
mvn install:install-file -DgroupId=io.confluent 
-DartifactId=kafka-schema-registry-client -Dversion=4.1.0 
-Dpackaging=jar -Dfile=/Users/jackbin/maven-jars/kafka-schema-registry-client-4.1.0.jar
编译flink-runtime-web出现npm错误

在编译前端的时候，比较蛋疼，和之前的dolphinscheduler一样，如果遇到node-sass的问题，请参考DolphinScheduler开发环境搭建的文章，手工安装node-sass。

报错信息：

代码语言：javascript复制
npm ci –cache-max=0 –no-save 错误

修改flink-runtime-web的pom文件

代码语言：javascript复制
# 将ci --cache-max=0 --no-save
修改为
# install -registry=https://registry.npm.taobao.org --cache-max=0 --no-save
编译flink-runtime-web出现sh ng : command not found

说明在编译机上angular没有进行全局安装，在执行ng命令的时候找不到命令。

解决方案参考：

https://medium.com/@angela.amarapala/ways-to-fix-bash-ng-command-not-found-7f329745795

在编译机器上指定使用flink-runtime-web/web-dashboard下的npm，运行命令

代码语言：javascript复制
npm install @angular/cli

ng命令测试

执行源码编译命令
代码语言：javascript复制
mvn clean install -DskipTests -Dfast -Drat.skip=true 
-Dhaoop.version=2.6.0-cdh5.16.2 -Pvendor-repos 
-Dinclude-hadoop -Dscala-2.11 -T2C

源码编译成功

获取编译完成的包

flink-dist/flink-1.10.1-bin/flink-1.10.1

3

编译完成的包

链接：https://pan.baidu.com/s/1MleYKwuOH5xw31hTm56SZQ

提取码：fmbl

flink 大数据 打包 网站 maven

0 人点赞