大数据实时处理框架之flink win10快速部署

2021-04-27 14:20:32 浏览数 (1)

一、依赖环境安装

1、jdk和scala依赖下载

jdk1.8

scala12.11:https://www.scala-lang.org/download/

2、flink1.9.0下载

flink官方中文文档:https://flink.apache.org/zh/downloads.html

flink1.9.0安装包:https://archive.apache.org/dist/flink/flink-1.9.0/

二、环境变量配置

1、FLINK_HOME变量配置

2、将FLINK_HOMEbin变量加入path

三、启动运行flink

1、启动flink

打开cmd,执行

代码语言:javascript复制
start-cluster

2、访问WEB UI

http://localhost:8081

3、cmd命令行执行flink demo

cmd 进入 fink 的 bin 目录

代码语言:javascript复制
cd %FLINK_HOME%bin && D:

执行官方 demo wordcount.jar 统计 readme.txt 文件的单词个数,将结果输出到 wordcount.txt 文件

代码语言:javascript复制
flink run %FLINK_HOME%examplesbatchWordCount.jar -input %FLINK_HOME%README.txt --output %FLINK_HOME%wordcount.txt

4、WEB页面上传jar包执行

点击 Add New 上传本地 jar 包

上传之后点击 submit 提交

四、监控 flink JVM使用资源

1、运行 jdk 的 jvisualvm 客户端

进入jdk bin目录下执行 jvisualvm.exe 

选择 org.apache.flink.runtime.taskexecutor.TaskManagerRunner,点击监视查看TaskManager进程的资源利用

其他运行在JVM的任务也可以在 Java VisualVM 客户端下查看

五、一键启动脚本

1、win10搭建kafka环境

https://cloud.tencent.com/developer/article/1818695

2、win10搭建flink环境

https://cloud.tencent.com/developer/article/1818696

3、一键启动脚本

start-all.cmd

代码语言:javascript复制
start %KAFKA_HOME%binwindowszookeeper-server-start %KAFKA_HOME%configzookeeper.properties
start %KAFKA_HOME%binwindowskafka-server-start %KAFKA_HOME%configserver.properties
start %FLINK_HOME%binstart-cluster

执行此脚本可以多窗口同时启动 kafka flink

0 人点赞