1、Flink Local模式部署
Ⅰ、依赖环境：
linux机器
jdk1.8及以上【配置JAVA_HOME环境变量】
Ⅱ、下载地址
https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27-scala_2.11.tgz
Ⅲ、local模式快速安装启动
(1)解压：tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz
(2)cd flink-1.6.1
(3)启动：./bin/start-cluster.sh
(4)停止：./bin/stop-cluster.sh
(5)访问web界面
http://hostname:8081
2、Flink StandAlone模式部署和解析
Ⅰ、依赖环境
jdk1.8及以上【配置JAVA_HOME环境变量】
ssh免密码登录【集群内节点之间免密登录】
Ⅱ、集群规划：
master(JobManager) slave/worker(TaskManager)
hadoop100(master) hadoop101(slave) hadoop102(slave)
Ⅲ、集群安装
1：修改conf/flink-conf.yaml
jobmanager.rpc.address: hadoop100
2：修改conf/slaves
hadoop101
hadoop102
3：拷贝到其他节点
scp -rq /usr/local/flink-1.6.1 hadoop101:/usr/local
scp -rq /usr/local/flink-1.6.1 hadoop102:/usr/local
4：在hadoop100(master)节点启动
bin/start-cluster.sh
5：访问http://hadoop100:8081
Ⅳ、Flink配置文件重要参数解析
jobmanager.heap.mb：jobmanager节点可用的内存大小
taskmanager.heap.mb：taskmanager节点可用的内存大小
taskmanager.numberOfTaskSlots：每台机器可用的cpu数量
parallelism.default：默认情况下任务的并行度
taskmanager.tmp.dirs：taskmanager的临时数据存储目录
Ⅴ、slot和parallelism总结
1.slot是静态的概念，是指taskmanager具有的并发执行能力
2.parallelism是动态的概念，是指程序运行时实际使用的并发能力
3.设置合适的parallelism能提高运算效率，太多了和太少了都不行
Ⅵ、集群节点重启和扩容
启动jobmanager
如果集群中的jobmanager进程挂了，执行下面命令启动。
bin/jobmanager.sh start
bin/jobmanager.sh stop
启动taskmanager
添加新的taskmanager节点或者重启taskmanager节点
bin/taskmanager.sh start
bin/taskmanager.sh stop
Ⅶ、Flink standalone集群中job的容错
jobmanager挂掉
正在执行的任务会失败
存在单点故障，(Flink支持HA)
taskmanager挂掉
如果有多余的taskmanager节点，flink会自动把任务调度到其它节点执行
3、Flink on Yarn模式部署和解析
Ⅰ、依赖环境
至少hadoop2.2
hdfs & yarn
Ⅱ、Flink on Yarn 的两种使用方式
Flink on Yarn的两种运行方式：
第一种【yarn-session.sh(开辟资源) flink run(提交任务)】
启动一个一直运行的flink集群
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]
附着到一个已存在的flink yarn session
./bin/yarn-session.sh -id application_1463870264508_0029
执行任务
./bin/flink run ./examples/batch/WordCount.jar -input hdfs://hadoop100:9000/LICENSE -output hdfs://hadoop100:9000/wordcount-result.txt
停止任务 【web界面或者命令行执行cancel命令】
第二种【flink run -m yarn-cluster(开辟资源 提交任务)】
启动集群，执行任务
./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar
注意：client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_HOME环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则启动会失败
./bin/yarn-session.sh 命令分析：
./bin/flink run 命令分析：
Ⅲ、Flink在Yarn上的分布：
ResourceManager
NodeManager
AppMater(jobmanager和它运行在一个Container中)
Container(taskmanager运行在上面)
Ⅳ、使用on-yarn的好处：
提高集群机器的利用率
一套集群，可以执行MR任务，spark任务，flink任务等…
Ⅴ、Flink on yarn内部实现：
4、Flink HA -- JobManager HA jobManager协调每个flink任务部署。它负责任务调度和资源管理。 默认情况下，每个flink集群只有一个JobManager，这将导致一个单点故障(SPOF)：如果JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败。 使用JobManager HA，集群可以从JobManager故障中恢复，从而避免SPOF(单点故障) 。 用户可以在standalone或 YARN集群 模式下，配置集群高可用。
