0876-7.1.7-如何在CDP中部署Flink1.14

2022-04-15 12:41:50 浏览数 (1)

1.文档编写目的

本篇文章主要介绍如何在CDP 7.1.7集群中使用Parcel的方式安装Flink1.14。

  • 测试环境

1.操作系统CentOS7.9

2.CDP7.1.7

3.使用root用户操作

2.安装Flink

1.准备好Flink的安装包，从以下地址下载

csd文件

代码语言：javascript复制
https://archive.cloudera.com/p/csa/1.6.2.0/csd/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar

Parcel相关文件

代码语言：javascript复制
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel.sha1
https://archive.cloudera.com/p/csa/1.6.2.0/parcels/manifest.json

2.将Flink1.14的csd文件放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下，然后重启Cloudera Manager Server服务

代码语言：javascript复制
[root@cdh0001 csd]# pwd
/opt/cloudera/csd
[root@cdh0001 csd]# ll
total 44
-rw-r--r-- 1 root root 44267 Apr 13 11:14 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538.jar
代码语言：javascript复制
[root@cdh0001 csd]# systemctl restart cloudera-scm-server
[root@cdh0001 csd]# netstat -lnpt|grep 7180

3.将下载好的Flink1.14 Parcel拷贝到httpd服务的/var/www/html目录下

代码语言：javascript复制
[root@cdh0001 flink1.14]# pwd
/var/www/html/flink1.14
[root@cdh0001 flink1.14]# ll
total 618480
-rw-r--r-- 1 root root 633304194 Apr 13 11:36 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel
-rw-r--r-- 1 root root        41 Apr 13 11:15 FLINK-1.14.0-csa1.6.2.0-cdh7.1.7.0-551-23013538-el7.parcel.sha1
-rw-r--r-- 1 root root      6347 Apr 13 11:15 manifest.json

4.测试打开http页面能够看到flink的相关安装包

5.CM重启完成以后，添加服务页面可以看到有Flink服务。

6.登录CM，在左侧菜单栏点击“Parcel”按钮，进入Parcles管理界面进行配置

进入Parcles管理界面后如下界面：

点击“Parcel Repositories & Network Settings”菜单配置Flink的本地parcel库

完成配置后，点击“Save  & Verify Configuration”，关闭配置配置界面可以看到Flink的信息

分别进行 “下载、分配、激活”操作，完成后显示如下：

7.进入CM主页点击“添加服务”。

8.选择添加Flink服务，点击继续。

9.选择Flink History Server以及Gateway节点，点击继续

10.点击继续

11.等待Flink History Server启动成功，完成后点击继续

12.安装完成，点击完成回到CM主页

3.Flink示例运行

1.执行Flink自带的example的wordcount例子。

代码语言：javascript复制
export HADOOP_USER_NAME=fayson
hadoop fs -mkdir -p wordcount/input
hadoop fs -put helloworld.txt wordcount/input
flink run -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/fayson/wordcount/input/helloworld.txt --output hdfs:///user/fayson/wordcount/output

2.在YARN和Flink的界面上分别都能看到这个任务。

flink 大数据 parcel

0 人点赞