CDP中的运营数据库

2020-04-21 16:23:10 浏览数 (1)

CDP 中的 Cloudera 运营数据库( OpDB ) 提供了实时、始终可用的可扩展OpDB,它在统一的运营和仓储平台中为传统结构化数据以及新的非结构化数据提供服务。Cloudera提供了一个可运营的数据库,该数据库在统一的开源平台中为传统的结构化数据以及新的非结构化数据提供服务。

运营数据库可帮助您:

使机器学习/人工智能投入运营,以彻底改变医疗保健,公共事业等行业。

• 以网络规模提供实时内容。

• 支持大数据分析,以供运营和离线使用。

• 用作记录的弹性存储。

CDP中的OpDB当前有两种形式可用:作为CDP公共云版本中的完全安全的、半托管产品–CDP Data Hub,以及作为CDP数据中心版本中的完全可自定义产品–与CDH和HDP中已经提供的类似。您可以根据您的部署策略和OpDB的需求来选择尺寸。运营数据库使用诸如Amazon S3之类的对象存储作为Apache HBase的存储层,其中HFile被写入对象存储,而WAL被写入HDFS。

CDP中的操作数据库具有以下组件:

• Apache Phoenix是在Apache HBase之上运行的SQL接口。

• Apache HBase专为实现大规模可伸缩性而设计,因此您可以在一个平台上存储无限量的数据,并满足不断增长的数据服务需求。

• Apache ZooKeeper提供了分布式配置服务,同步服务和命名注册表。

• Apache Knox Gateway提供外围安全性,以便企业可以放心地将访问权限扩展到新用户。

• Apache HDFS用于编写Apache HBase WAL。

• 对象存储区(例如Amazon S3和Microsoft ADLS Gen2)用于存储Apache HBase HFiles。

• 共享数据体验(SDX)用于安全和治理功能。安全和治理策略设置一次,并应用于所有数据和工作负载。

• IDBroker是REST API,是Apache Knox身份验证服务的一部分。它允许经过身份验证和授权的用户将一组凭据或令牌交换为云供应商访问令牌。

CDP中的运营数据库

本系列博客为您介绍了CDP上的OpDB及其体系结构。您可以了解有关OpDB各个方面的更多信息,并在本系列的后续文章中了解OpDB的新功能。发布后,我们将更新每个博客文章的链接。

  • 可访问性

Cloudera的OpDB确保用户可以访问或检索存储的数据。它支持自动分片和预定义分片,三个查询引擎和多个数据集成工具。本系列博客提供了这些功能和其他功能的概述,这些功能和其他功能可确保实现高级别的可访问性。

  • 管理

Cloudera的OpDB提供了多种管理工具和功能来管理您的OpDB工作负载。管理员可以将OpDB部署为CDP公共云–Data Hub中的完全安全的、半托管的产品,以及CDP数据中心中的完全可定制的产品(类似于CDH和HDP中提供的产品)。本系列博客为您概述了在CDP中支持哪些功能和工具来管理OpDB。

  • 运营管理

Cloudera的OpDB提供了管理工具,可帮助您有效地管理OpDB工作负载。本系列博客为您概述了CDP中的OpDB管理工具和功能。

  • 可用性

Cloudera的OpDB保持高级别的数据可用性,即使在发生节点故障的情况下,也可以确保在所需的时间和位置访问所需的数据。本系列博客概述了使高可用性成为可能的功能,例如开箱即用的高可用性,数据复制和错误保护。

  • 完整性

Cloudera的OpDB提供了各种数据完整性功能,包括实体和域完整性,ACID事务和非关系完整性。本系列博客提供了OpDB数据完整性功能的概述。

  • 应用支持

Cloudera的OpDB支持各种流行的语言、框架和应用程序,可用于访问存储在OpDB中的数据。本系列博客为您提供了支持的语言、框架和应用程序的概述。

  • NoSQL和相关功能

由于Cloudera的OpDB包括用于存储数据的NoSQL数据库HBase,因此它具有NoSQL功能,例如键值、表样式功能和灵活的数据类型。还提供了跨Hadoop生态系统的紧密集成,包括HDFS,Spark和Kafka。本系列博客提供了这些功能的概述。

  • 可扩展性

Cloudera的OpDB专为实现高可伸缩性而设计,通过灵活的数据类型支持垂直和水平可伸缩性,并且对数据大小没有限制。本系列博客提供了与受支持的可伸缩性相关的功能和工具的概述。

  • 安全

Cloudera的OpDB在加密、身份验证、授权和审计方面提供了不同级别的多种安全解决方案。本系列博客概述了这些与安全相关的功能和工具。

原文来源:https://blog.cloudera.com/operational-database-in-cdp/

原文作者:Liliana Kadar

0 人点赞