flink(12)-flink on yarn

flink yarn flink on yarn有两种模式，分别是session cluster和per job

session cluster session cluster是一个long running的模式，先拉起一个flink集群，然后大家向这个集群提交任务 集群启动的脚本如下

代码语言：javascript复制

bin/yarn-session.sh -n4 -jm1024 -tm 4096 -s 2

任务运行模式 同步和异步 主要体现命令的区别在如下

代码语言：javascript复制

同步
bin/flink run -c mainClass /path/to/user/jar
异步
bin/flink run -d -c mainClass /path/to/user/jar

per job per job，是每个任务对应一个集群，每次提交的时候会单独拉一个集群起来，任务run的命令如下

代码语言：javascript复制

同步
bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar
异步
bin/flink run -d -m yarn-cluster -d -c mainClass /path/to/user/jar

flink 大数据 yarn node.js

0 人点赞