CSA部署方案

2021-05-20 15:12:55 浏览数 (1)

我们在Cloudera的流分析系列中介绍了《Cloudera中的流分析概览》和《SQL Stream Builder的概览》,今天我们来进行下一个章节:CSA的部署方案。

您可以根据要构建的应用程序在私有云基础版上部署Streaming Analytics。

  • 仅使用Flink的DataStream应用程序。在这种情况下,您需要创建一个Flink应用程序集群。
  • 将Flink与SQL Stream Builder结合使用的SQL Streaming应用程序。在这种情况下,您需要创建一个Streaming SQL群集。

您可以使用以下工作流程来了解部署过程:

使用Flink的集群服务布局

在Cloudera Streaming Analytics(CSA)中,Flink对HDFS、YARN和Zookeeper具有强制性依赖性。您需要根据强制依赖性将Flink Gateway和HistoryServer角色分配给主机。

Flink作业作为YARN应用程序执行。HDFS用于存储恢复和日志数据,而ZooKeeper用于作业的高可用性协调。在标准布局中,Apache Kafka群集通常位于执行Flink群集的YARN群集附近。

Flink网关与YARN和HDFS网关并置。Flink HistoryServer与HDFS角色并置,该角色可以是活动角色,也可以是网关。并置Flink角色和依赖项时,请使用以下常规服务布局。

使用SSB的集群服务布局

在Cloudera Streaming Analytics(CSA)中,SQL Stream Builder(SSB)与Flink和Kafka具有强制依赖关系。但是由于其与Flink的依赖关系,您还需要在群集上添加YARN、HDFS和Zookeeper作为强制性服务。您需要以与分配Flink角色相同的方式分配SSB角色。

ban

原文链接:https://docs.cloudera.com/csa/1.3.0/deployment/topics/csa-deployment-scenario.html

0 人点赞