Cloudera数据平台(CDP)私有云基础版是Cloudera数据平台的本地版本。该新产品结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的优点以及整个堆栈中的新功能和增强功能。该统一分发是可扩展和可定制的平台,您可以在其中安全地运行多种类型的工作负载。
CDP私有云基础版支持多种混合解决方案,其中计算任务与数据存储分开,并且可以从远程集群访问数据。这种混合方法通过管理存储、表Schema、身份验证、授权和治理,为容器化应用程序提供了基础。
CDP私有云基础版由各种组件组成,例如Apache HDFS、Apache Hive 3、Apache HBase和Apache Impala,以及许多其他用于特殊工作负载的组件。您可以选择这些服务的任意组合来创建满足您的业务需求和工作负载的集群。几个预配置的服务包也可用于常见的工作负载。这些包括:
常规(基础)集群
数据工程
开发过程并提供预测模型。
服务包括:HDFS, YARN, YARN Queue Manager, Ranger, Atlas, Hive, Hive on Tez, Spark, Oozie, Hue, and Data Analytics Studio
数据集市
以交互方式浏览、查询和探索数据。
服务包括:HDFS,Ranger,Atlas,Hive和Hue
运营数据库
对现代数据驱动业务的实时见解。
服务包括:HDFS,Ranger,Atlas和HBase
自定义服务
选择您自己的服务。所选服务所需的服务将自动包括在内。
计算集群
数据工程
开发过程并提供预测模型。
服务包括:Spark, Oozie, Hive on Tez, Data Analytics Studio, HDFS, YARN, and YARN Queue Manager
Spark
Spark计算
服务包括:核心配置,Spark, Oozie, YARN, and YARN Queue Manager
数据集市
Impala计算
服务包括:核心配置,Impala和Hue
流式消息(简单)
简单的Kafka集群用于流消息传递
包括的服务:Kafka,Schema Registry和Zookeeper
流式消息(完整)
具有监视和复制服务的高级Kafka集群,用于流消息传递
包括的服务:Kafka, Schema Registry, Streams Messaging Manager, Streams Replication Manager, Cruise Control, and Zookeeper
自定义服务
选择您自己的服务。所选服务所需的服务将自动包括在内。
在安装CDP私有云基础版集群时,您将安装一个名为Cloudera Runtime的Parcel,其中包含所有组件。
除Cloudera Runtime组件外,CDP私有云基础版还包括功能强大的工具,可帮助您管理、治理和保护集群。
CDP私有云基础版的工具
Cloudera Manager
CDP-私有云基础版使用Cloudera Manager来管理一个或多个集群及其配置,并监视集群性能。您还可以使用Cloudera Manager来管理安装、升级、维护工作流、加密、访问控制和数据复制。在将来的版本中,您还将能够管理Cloudera Enterprise CDH集群。您还可以使用Cloudera Manager创建虚拟专用集群,该集群允许您将计算资源与数据存储区分开,并在计算资源之间共享数据存储。
Apache Atlas
CDP私有云基础版中还包括Apache Atlas,用于为您的数据提供管理。Apache Atlas用作通用的元数据存储,旨在在Hadoop堆栈内部和外部交换元数据。Atlas与Apache Ranger的紧密集成使您能够在Hadoop堆栈的所有组件之间一致地定义、管理和治理安全性和合规性策略。对于熟悉Cloudera Enterprise的客户,Apache Atlas取代了Cloudera Navigator Metadata Server。它提供以下功能:
- 灵活的元数据模型
- 使用模型属性、分类(标签)和自由文本的实体搜索
- 基于应用于实体的流程的跨实体血缘
Apache Ranger
Apache Ranger为您的CDP-私有云基础版集群提供了审核、身份验证和授权功能。
Apache Ranger提供了一个集中式框架,用于收集访问审核历史记录和报告数据,包括过滤各种参数。Ranger增强了从Hadoop组件获得的审核信息,并通过此集中报告功能提供了见解。
Apache Ranger还通过用户界面管理访问控制,以确保跨CDP-私有云基础版组件进行一致的策略管理。安全管理员可以在数据库、表、字段和文件级别定义安全策略,还可以管理基于LDAP的特定组或单个用户的权限。也可以将基于动态条件(例如时间或地理位置)的规则添加到现有策略规则中。Ranger授权模型是可插入式的,并且可以使用基于服务的定义轻松扩展到任何数据源。
对于熟悉Cloudera Enterprise的客户,Apache Ranger取代了Sentry和Navigator Audit Server,并且还提供以下功能:
- 更好的细粒度访问控制:
o 动态行过滤
o 动态列屏蔽
o 基于属性的访问控制
o SparkSQL细粒度的访问控制
- 丰富的政策功能
o 允许/拒绝构造,自定义策略条件/上下文增强器,限时策略,Atlas集成(用于基于标签的策略)
o 具有丰富事件元数据的广泛访问审核
来源:https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html