Cloudera运营数据库（COD）入门

2021-12-13 12:44:57 浏览数 (1)

如何创建运营数据库

概念

什么是 Cloudera 运营数据库 (COD)？

Operational Database 是一种基于 Apache HBase 的关系型和非关系型数据库，旨在支持使用大数据的 OLTP 应用程序。

Cloudera Data Platform 中的运营数据库具有以下组件：

  • Apache Phoenix 提供了一个促进大规模可扩展性的关系模型。它利用了 Apache HBase 的可扩展性和弹性。
  • Apache HBase 提供了一个专为大规模可扩展性而设计的非关系模型，因此您可以在单个平台中存储无限量的数据，并处理不断增长的数据服务需求。
  • Apache ZooKeeper 提供分布式配置服务、同步服务和命名注册表。
  • Apache Knox Gateway 提供外围安全性，以便企业可以自信地将访问权限扩展到新用户。
  • Apache HDFS 用于编写 Apache HBase WAL（在某些情况下还有 HBase HFile）。
  • Amazon S3 和 Microsoft ADLS Gen2 等对象存储用于存储 Apache HBase HFile。
  • 共享数据体验 (SDX) 用于安全和治理功能。安全和治理策略设置一次并应用于所有数据和工作负载。就像 CDP 本身一样，SDX 建立在以Apache Ranger和Apache Atlas为傲的社区开源项目上。

Atlas 提供开放的元数据管理和治理功能，以构建所有资产的目录，并对这些资产进行分类和治理。CDP 的 SDX 层利用了 Atlas 的血缘来自动跟踪和控制所有数据资产。

Rager 提供安全密钥管理，使用 Ranger KMS 服务的密钥管理员可以单独登录。Apache Ranger 还提供了非常需要的安全功能，例如开箱即用的列屏蔽和行过滤。另一个重要因素是 Ranger 中的访问策略可以使用不同的属性（如“地理区域”或“一天中的时间”）通过动态上下文进行定制。

  • IDBroker 是作为 Apache Knox 身份验证服务的一部分构建的 REST API。它允许经过身份验证和授权的用户为云供应商访问令牌交换一组凭据或令牌。

CDP 运营数据库数据服务

CDP 运营数据库 (COD) 是由 Apache HBase 和 Apache Phoenix 提供支持的实时自动扩展运营数据库。它是一种运行在 Cloudera Data Platform (CDP) 上的数据服务。您可以直接从CDP 控制台访问 COD 。COD 使您可以通过单击创建一个新的运营数据库，并根据您的工作负载自动扩展。

以下是开始使用 COD 的关键步骤：

  • 只需单击一下即可在环境中创建数据库，数据库应该会在几分钟内启动并可用。
  • 设置您的工作负载密码。如需更多信息，请单击此处。
  • 下载并安装 Apache Maven、Java、Python 3.8。
  • 在您的机器上安装 CDP 客户端。如需更多信息，请单击此处。
  • 按照示例存储库中的说明更改您的 maven settings-security.xml、settings.xml 和 pom.xml。
  • 构建并运行应用程序。

Apache HBase

HBase 是一种面向列的数据存储架构，它形成在 HDFS 之上，以克服其局限性。它利用 HDFS 的基本功能并在此基础上构建，通过实时处理大量读写请求来提供可扩展性。尽管 HBase 架构是一个 NoSQL 数据库，但它通过在集群中均匀分布数据来简化维护数据的过程。这使得快速访问和更改 HBase 数据模型中的数据。了解有关Apache HBase 的更多信息。

Apache Phoenix

Apache Phoenix 是一个 RDBMS，一个 ANSI SQL 接口。Apache Phoenix 实施了最佳实践优化，使软件工程师能够开发基于 HBase 的下一代数据驱动应用程序。使用 Phoenix，您可以使用标准 JDBC API、ODBC、Phoenix DB API 以典型 DDL/DML 语句的形式创建表并与之交互。

Phoenix提供：

  • SQL 和 JDBC API 支持
  • 支持后期绑定、读取模式
  • 访问在其他组件（如 Apache Spark 和 Apache Hive）中存储和生成的数据

了解有关Apache Phoenix 的更多信息。

过程

如何创建运营数据库

您可以使用 CDP 运营数据库 (COD) 在注册环境中创建运营数据库。

先决条件

  • 您必须以 ODAdmin 身份登录到 COD 环境。
  • 确保您有权创建数据库。

步骤

  1. 登录 CDP Web 界面。例如，CDP 控制台。
  2. 选择运营数据库。
  3. 在 COD Web 界面中，单击创建数据库。
  4. 从列表中选择要在其中拥有数据库的环境。
  5. 在数据库名称字段中提供数据库的名称。
  6. 单击创建数据库。

结果

显示信息页面，显示数据库的状态。一旦其状态变为可用，您的新数据库就可以使用了。

如何管理数据库连接

创建运营数据库并使其可用后，您可以管理数据库连接。

先决条件

确保数据库已启动并可用。

您有权对数据库进行更改。

步骤

  1. 在 COD Web 界面中，选择要为其管理连接的数据库。
  2. 在连接下，进入每个选项卡并修改参数。

参考

  • 关于创建 COD 数据库的 Cloudera 文档
  • CDP 中的运营数据库

如果您有兴趣试用 CDP 公共云和运营数据库，请试用我们的Test Driver。

原文作者：Krishna Maheshwari

原文链接：https://blog.cloudera.com/getting-started-with-cloudera-data-platform-operational-database-cod/

apache hbase TDSQLMySQL版 api xml

0 人点赞