一、依赖环境安装
1、jdk和scala依赖下载
jdk1.8
scala12.11:https://www.scala-lang.org/download/
2、flink1.9.0下载
flink官方中文文档:https://flink.apache.org/zh/downloads.html
flink1.9.0安装包:https://archive.apache.org/dist/flink/flink-1.9.0/
二、环境变量配置
1、FLINK_HOME变量配置
2、将FLINK_HOMEbin变量加入path
三、启动运行flink
1、启动flink
打开cmd,执行
代码语言:javascript复制start-cluster
2、访问WEB UI
http://localhost:8081
3、cmd命令行执行flink demo
cmd 进入 fink 的 bin 目录
代码语言:javascript复制cd %FLINK_HOME%bin && D:
执行官方 demo wordcount.jar 统计 readme.txt 文件的单词个数,将结果输出到 wordcount.txt 文件
代码语言:javascript复制flink run %FLINK_HOME%examplesbatchWordCount.jar -input %FLINK_HOME%README.txt --output %FLINK_HOME%wordcount.txt
4、WEB页面上传jar包执行
点击 Add New 上传本地 jar 包
上传之后点击 submit 提交
四、监控 flink JVM使用资源
1、运行 jdk 的 jvisualvm 客户端
进入jdk bin目录下执行 jvisualvm.exe
选择 org.apache.flink.runtime.taskexecutor.TaskManagerRunner,点击监视查看TaskManager进程的资源利用
其他运行在JVM的任务也可以在 Java VisualVM 客户端下查看
五、一键启动脚本
1、win10搭建kafka环境
https://cloud.tencent.com/developer/article/1818695
2、win10搭建flink环境
https://cloud.tencent.com/developer/article/1818696
3、一键启动脚本
start-all.cmd
代码语言:javascript复制start %KAFKA_HOME%binwindowszookeeper-server-start %KAFKA_HOME%configzookeeper.properties
start %KAFKA_HOME%binwindowskafka-server-start %KAFKA_HOME%configserver.properties
start %FLINK_HOME%binstart-cluster
执行此脚本可以多窗口同时启动 kafka flink