CDP PvC Base 概览
什么是 CDP 私有云基础？
CDP 私有云基础是Cloudera的本地（裸机）产品、企业数据中心（Enterprise Data Hub）和 HDP 企业的演变。CDP Private Cloud Base 7.1 包括 Cloudera Runtime 7.1，它将 CDH 和 HDP 的优点结合到一个发行版中。CDP私有云基础为客户提供以下服务：
- 通过 Hive、Impala 和 Kudu 进行高性能 SQL 分析。
- 通过 Streams Messaging Manager、Streams Replication Manager 和 Schema Registry 进行实时流处理、分析和管理。
- 使用 SDX 的细粒度安全性、企业元数据和可扩展的数据血缘，支持 Atlas 和 Ranger
- 支持对象存储 Ozone
- 单一管理平台 - 使用 Cloudera Manager 支持多集群
什么是CDP？
CDP全称是Cloudera Data Platform，是Cloudera的新一代数据平台。该平台适用于IT和业务的大数据平台，支持
- 在所有主要的公共云和私有云中运行，在任何地方都能获得公共云体验。
- 跨数据生命周期为任何位置的数据集成大数据管理和分析体验。
- 在所有环境中提供安全性、合规性、迁移和元数据管理。
- 开源、开放集成、可扩展且对多个数据存储和计算架构开放。
CDP Private Cloud Base 与 Cloudera Runtime 有何不同？
Cloudera Runtime 是一个目前由 39 个开源项目组成的发行版。CDP Private Cloud Base 是一个完整的产品，它包括一个控制平面 (Cloudera Manager)，用于在 Cloudera Runtime 中部署、配置、管理和保护各种组件。
CDP私有云基础是新产品还是CDH/HDP的下一个版本？
CDP 私有云基础 7.0 是一个新产品。CDP 私有云基础 7.1.1 将提供从 CDH 5.13 - 5.16 和 HDP 2.6.5 到此新产品的升级和迁移功能以及一些新功能。
CDP 私有云基础 7.1.6 支持从 HDP 3 升级。
CDP私有云基础7.1.7支持从CDH6的升级。
CDP私有云基础有哪些可用文档？
概览：https://docs.cloudera.com/cdp-private-cloud/latest/overview/topics/cdppvc-overview.html
CDP私有云基础概览：https://docs.cloudera.com/cdp-private-cloud/latest/overview/topics/cdpdc-overview.html
原地升级指南：https://docs.cloudera.com/cdp-private-cloud/latest/upgrade.html
工作负载迁移指南：https://docs.cloudera.com/cdp-private-cloud/latest/migrate.html
CDP私有云基础功能概念：https://docs.cloudera.com/cdp-private-cloud-base/latest/concepts-cloudera-manager.html
CDP私有云基础操作指南：https://docs.cloudera.com/cdp-private-cloud-base/latest/howto-cloudera-manager.html
CDP私有云基础故障排除：https://docs.cloudera.com/cdp-private-cloud-base/latest/security-troubleshooting/topics/cm-security-misc.html
产品组件版本是什么？
参考:
https://docs.cloudera.com/cdp-private-cloud-base/latest/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html
Component | CDP Private Cloud Base 7.1 |
|---|---|
Cloudera Manager (incl. BDR) | Y |
Ambari | Replaced with CM |
Hadoop (HDFS, MapReduce, YARN) | Y |
YARN Scheduler | Capacity Scheduler |
Hive | Y |
LLAP | Private Cloud 1.0 |
Tez | Y |
Spark | Y |
Livy | Y |
Impala | Y |
Kafka | Y |
Kudu | Y |
Solr (Cloudera Search) | Y |
Hue | Y |
HBase | Y |
HBase Indexer (HBase Solr) | Y |
Accumulo | 7.1 [separate parcel] |
Phoenix | Y |
Sentry | Replaced with Ranger |
Ranger | Y |
Ranger KMS | Y |
Navigator | Replaced with Atlas |
Java KeyStore KMS | Y |
Key Trustee Server | 7.1 [separate parcel] |
Key Trustee KMS | 7.1 [separate parcel] |
HSM KMS | Removed |
Key HSM | Y |
Navigator Encrypt | Y |
Atlas | Y |
Zookeeper | Y |
Oozie | Y |
Sqoop | Y |
Pig | Removed |
Parquet | Y |
Avro | Y |
ORC | Y |
Ozone | Y |
Hive Warehouse Connector | Y |
Zeppelin | Y |
Knox | Y |
Flume | Removed |
Storm | Removed |
Arrow | Not included |
SMM | Y |
SRM | Y |
Schema Registry | Y |
Crunch | Not included |
CDP私有云基础中Sentry和Navigator怎么办呢？
Ranger 和 Atlas 分别取代了 Sentry 和 Navigator。请参阅https://docs.cloudera.com/cdp/latest/upgrade-cdh/topics/cdpdc-sentry-pre-upgrade-migration-to-ranger.html 和https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cdpdc-configure-oracle-ranger.html
CDP 私有云基础 7.1 中的 YARN 怎么样？
YARN 已经转向独立于 CM 的队列管理方法。 YARM 队列管理器将支持容量调度程序。
YARN 和 YQM 在 CDP Private Cloud Base 7.1 中如何工作？
- YARN 队列管理器是CM 中的一项新服务，具有自己的队列管理UI。
- YARN 队列管理器 UI 可从 CM 访问。
- 公平调度器被禁用，新调度器将成为容量调度器。
CDP Private Cloud Base 是否只支持 Cloudera Manager？
CDP Private Cloud Base 仅支持 Cloudera Manager。 作为迁移或升级 CDP 私有云基础的一部分，HDP 用户将迁移到 CM。
我有一个使用 CDH 5.13 - 5.16 和 CM 6.3 的客户，我可以迁移到 CDP Private Cloud Base 吗?
是的，您可以迁移或升级到 CDP Private Cloud Base 7.1。 CM 7.1 将成为 CDP Private Cloud Base 7.1 的一部分。
我有一个使用 HDP2.6x 的客户，我可以迁移到 CDP Private Cloud Base 吗？
是的，您可以迁移或升级到 CDP Private Cloud Base 7.1。
AM2CM 工具以正式发布，支持Ambari到Cloudera Manager的迁移。
升级
Cloudera什么时候停止支持 CDH 和 HDP?
2020 年底将停止支持 HDP 2.6.5 和 CDH 5.13 - 5.16。2021年底将停止支持HDP3.2022年3月底将停止支持CDH6.
https://www.cloudera.com/legal/policies/support-lifecycle-policy.html
我的客户正在计划下一次升级，他们应该怎么做？
他们应该审查他们所使用的当前版本。 CDP Private Cloud Base 7.1 支持以下升级路径
- CDH 5.13 - 5.16 到 CDP 私有云基础 7.1
- HDP 2.6.5 到 CDP 私有云基础 7.1
- HDP 3 到 CDP 私有云基础 7.1
- CDP 私有云基础 7.0到 CDP 私有云基础 7.1
- CDH6到CDP私有云基础7.1（在7.1.7版本支持）
可用的升级和迁移路径请参考：https://docs.cloudera.com/cdp-private-cloud/latest/upgrade/topics/cdpdc-cdp-upgrade-migrations-paths.html
CDH 客户的升级是什么样的？
使用 CDH 5.13 - 5.16 的经典 CDH 客户将升级 Cloudera Manager，然后将 Cloudera Run Time 升级到 7.1。工具可用于支持类似于 CDH 升级的流程、迁移配置和授权策略。这包括用于 Sentry-to-Ranger 策略、Navigator-to-Atlas 元数据、KMS-to-RangerKMS 和 YARN FairScheduler 到 CapacityScheduler 配置的转换工具。详情请参考：https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cdpdc-cdh-overview.html
HDP2 客户的升级是什么样的？
使用经典的HDP2.6.5 客户将升级 Ambari，然后将 Cloudera Run Time 安装到 7.1。完成后，集群管理器将切换到 Cloudera Manager。工具可用于支持类似于 HDP 升级的流程、迁移配置和授权策略，直到集群管理器切换。详情请参考：https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-hdp/topics/amb-hdp-cdp-upg.html
HDP3 客户的升级是什么样的？
使用经典的HDP3 客户将升级 Ambari，然后将 Cloudera Run Time 安装到 7.1。完成后，集群管理器将切换到 Cloudera Manager。工具可用于支持类似于 HDP 升级的流程、迁移配置和授权策略，直到集群管理器切换。详情请参考：https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-hdp3/topics/amb3-hdp-cdp-upg.html
Flume 会怎么样？
Flume 在 CDP Private Cloud Base 7.1 中不可用。推荐的路径是使用 Apache Nifi，但是，如果仍然需要 Flume 并得到客户的坚持，它可以在没有支持的情况下运行，或者请 Cloudera PS 寻求帮助。
Pig的支持是什么？
CDP 中不存在 Apache Pig。 Apache Pig 旨在简化编写 MR 作业的过程。 Apache Spark 和 Apache Hive 已经取代了对 Pig 的需求，因此建议客户迁移到 Apache Spark。
如果客户坚持需要 Pig，则客户需要在 MapReduce 上下载、编译和运行 Apache Pig。然而，这是不受支持的。
也可以通过Cloudera的PS利用工具将Pig程序转换成Spark程序，用于后续使用。
加密
KT KMS 的未来是什么？
CDP Private Cloud Base 使用 KT KMS 来帮助升级/迁移 CDH 客户，使用迁移实用程序读取 Keytrustee kms-acls.xml 并将其导入 Ranger 兼容策略。 升级过程看起来像
- 分发CDP私有云基础包
- 通过升级向导添加Ranger 服务。
- 在升级过程中
- 导出kms-acls.xml
- 删除KT KMS服务
- 将 Ranger KMS KTS 服务添加到与 KT KMS 相同的节点。
- 启动 Ranger 服务
- 执行 ImportKeytrusteeKmsAcl 命令导入 Ranger 中的策略
升级完成后，不再使用KT KMS。
在哪里可以下载 Navigator Encrypt 7.1？
NavEncrypt 7.1 可以从以下位置下载https://www.cloudera.com/downloads/navigator/encrypt/7-1-0.html.
我在哪里可以下载 Key Trustee Server 7.1？
Key Trustee Server 可以从以下位置下载
https://www.cloudera.com/downloads/navigator/key-trustee-server/7-1-0.html
什么是 Ranger KMS，何时可用？
Ranger KMS 基于 Hadoop KMS。
Ranger 通过 Ranger 管理门户提供对密钥管理服务器的集中管理。Ranger KMS 可从 CDP Private Cloud Base 7.1.1 获得。
Ranger KMS 如何与 Key Trustee Server 配合使用？
Ranger KMS 使用 Key Trustee Server 作为后备密钥库。
需要先配置 Key Trustee Server。
