如何在CDH7.1.1集群部署Flink1.10.1

2020-10-15 11:36:50 浏览数 (1)

作为新一代流计算引擎,Flink的发展速度是惊人的,尤其是在其母公司被阿里巴巴收购后,Flink在国内工业界已经得到了广泛地应用。本文讲解如何在CDH7.1.1上部署Flink1.10.1。后续会有多篇文章详细介绍Flink的使用和源码分析,并且基于工业界的实际场景和需求,探讨如何扩展Flink,二次开发等等。此外,我们会深入研究有关流计算的内容。

安装Flink

下载Flink1.10.0的csd文件,发送到Cloudera Manager Server服务器/opt/cloudera/csd目录下,重启Cloudera Manager Server服务

下载Flink1.10.0的Parcel包并部署到httpd服务的/var/www/html/flink1.10.1目录下

在CM页面左侧菜单栏点击Parcel按钮,进入Parcles管理界面配置parcel包地址

进行下载、分配、激活操作

在CM主页点击”添加服务”,选择添加Flink服务

选择Flink History Server以及Gateway节点,点击继续

审核更改

等待Flink History Server启动成功,完成后点击继续

完成

Flink运行示例

执行Flink自带的example的wordcount例子,使用flink run提交到YARN

在YARN和Flink的界面上都能看到这个任务。

0 人点赞