Flink1.9.2源码编译和使用

2020-05-26 14:32:57 浏览数 (1)

为什么要编译flink源码

用于学习，在IDEA上开发的flink job，能直接在IDEA运行，如果运行时依赖的flink框架是我们自己编译构建的，就做到了从业务到框架都可以修改源码并验证，起到了很好的学习和动手实践效果；

环境信息

  1. 电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3
  2. 操作系统：macOS Catalina 10.15.3
  3. JDK：1.8.0_211
  4. Maven：3.6.0
  5. IDEA：2018.3.5 (Ultimate Edition)

关于正版IDEA

如何免费使用正版IDEA，可以参考《免费申请和使用IntelliJ IDEA商业版License指南》

全文概览

今天的实战由以下内容组成：

  1. 开发一个最简单的flink任务，在IDEA上以local模式运行；
  2. 下载flink1.9.2源码；
  3. 修改flink1.9.2源码，并且编译构建；
  4. 设置，让步骤1中的flink任务用上刚刚编译的flink1.9.2框架；
  5. 再次运行flink任务，验证修改后的flink框架是否生效；

IDEA上运行flink job工程

  1. 在IDEA上创建flink job的maven工程并运行，请参考《IDEA上运行Flink任务》
  2. 假设您已按上面的步骤在IDEA建好了flink job工程；
  3. 运行起来，在浏览器打开flink页面，如下图，绿框中显示一共有8个Task Slot：
  1. 之所以会有8个Task Slot，和下图红框中的代码有关，这是段flink框架源码(StreamExecutionEnvironment.java)，入参parallelism是CPU核数，我这里是开了超线程的四核i5处理器，所以parallelism等于8：
  1. 今天的目标就是修改上图红框中的源码，然后在网页上看是不是生效了（Task Slot数量从8改成5）；

准备工作

  1. maven中央仓库地址建议用阿里云的，否则会经常遇到jar下载超时错误，地址：http://192.168.50.43:8081/repository/aliyun-proxy/
  2. flink1.9.2源码的maven工程依赖了一个中央仓库没有的jar，GAV是io.confluent:kafka-schema-registry-client:3.3.1，您需要下载下来在本地仓库做mvn install操作，下载地址：http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar
  3. 上述准备工作都需要您在本地maven上操作，但是如果您的条件允许，还是强烈推荐在内网搭建maven私服nexus3，参考：《群晖DS218 做maven私服(nexus3)》、《Ubuntu部署和体验Nexus3》、《Nexus3常用功能备忘》

下载flink1.9.2源码

flink1.9.2源码的下载地址：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.9.2/flink-1.9.2-src.tgz

修改和编译构建

  1. 将下载好的flink-1.9.2-src.tgz解压，得到文件夹flink-1.9.2
  2. 打开这个文件：flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java
  3. 如下图红框，找到createLocalEnvironment方法，把setParallelism的入参改成一个固定的数字(每个Task Slot都要分配内存，所以这个数字请不要改得太大，否则启动flink就会报错了，我这里改成了5)：
  1. 在文件夹flink-1.9.2下，执行编译构建的命令：mvn clean install -DskipTests -Dfast
  2. 经历漫长等待后提示构建成功：
  1. 确认这个文件已生成，稍后就要用到：flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar

设置

  1. 为了用上刚刚构建出来的flink框架jar，要做些设置，打开之前运行的flink job应用，在项目上点击右键，点击菜单Open Module Settings，如下图：
  1. 接下来要做三个和jar有关的操作，注意每一步都很重要：
  2. 下图红框1中的flink-dist_2.11-1.9.2.jar文件，是《IDEA上运行Flink任务》一文中添加的，目的是提供网页服务，现在将其删除，操作如下图红框所示：
  1. 下图红框1中的maven依赖：org.apache.flink:flink-streaming-java_2.11:1.9.2，也请删除，操作如下图红框所示：
  1. 点击下图红框中的加号：
  1. 在弹出的窗口选中刚才构建好的文件flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar：
  1. 记得点击右下角的OK按钮保存，修改完毕，接下来验证咱们修改的flink框架源码是否生效了

验证

  1. 当前flink job工程来自《IDEA上运行Flink任务》一文，StreamingJob的工作是读取本机18081端口的数据，所以我们要把18081端口的服务启动起来，不然StreamingJob运行时是连不上端口的，打开一个控制台，执行命令：nc -l 18081
  2. 现在可以将StreamingJob运行起来，如下图，右键点击StreamingJob，选择Run ‘StreamingJob.main()’：即可启动flink任务：
  1. 在IDEA的控制台搜索关键字localhost，如下图红框，可以查到flink网页的端口，我这里是52704：
  1. 浏览器访问http://localhost:52704，如下图红框，Total Task Slots数量是5，我们修改的flink1.9.2的源码生效了：
  1. 至此，Flink1.9.2的源码从修改到编译构建，再到验证都已经完成了，如果您也在学习flink，希望本文能给您一些参考，一起来动手实战吧
大数据 flink ide maven 打包

0 人点赞