0891-CDP Private Cloud Base 7.1.8正式GA

2022-09-02 14:15:51 浏览数 (1)

八月再见，九月你好，今天是九月一日，新学年开始，Cloudera正式发布CDP Base 7.1.8和Cloudera Manager 7.7.1。这个版本引入了诸多新功能，比如通过EC提升Ozone的存储效率，Cloudera Manager的HA，多NameNode支持，全面支持Impala4.0，Hive性能提升，HDFS/Schema Registry血缘功能的增强，改进Ranger RMS，以及实时平台的全面增强。

1.平台支持增强

1.新的操作系统支持

  • CDP Private Cloud Base现在支持RHEL/OEL 8.6 for x86

2.新的元数据库支持

  • CDP Private Cloud Base现在支持Maria DB 10.6

2.一般功能增强

1.Cloudera Manager

  • Cloudera Manager HA：你可以通过安装一个负载均衡工具，并设置一些额外的配置，从而实现Cloudera Manager主备（Active-Passive）方式的高可用。
  • Cloudera Manager Secure Credential Store：你可以通过配置Credential Storage Provider (CSP)来让Cloudera Manager加密存储在CM数据库中的敏感信息。
  • 新的Core Settings Service替换Core Configuration Service：Cloudera Manager现在提供HDFS Less Clusters的功能，即在安装集群的时候，不是必须要安装HDFS服务。
  • Replication Manager支持Hive ACID表：你现在可以在Replication Manager中创建Hive ACID表复制策略，从而实现在CDP Base集群间复制ACID表。
  • 使用Cloudera Manager APIs复制Ozone数据：你可以使用Cloudera Manager APIs创建Ozone复制策略，从而使用Cloudera Manager 7.7.1或更高版本在CDP Base 7.1.8或更高版本之间复制Ozone bucket中的数据。
  • 创建Parcel文件权限的user/group的新配置参数：解耦Cloudera Manager中的配置设置，以允许在Parcel安装期间单独执行用户创建和更新文件权限。两个新的配置参数替换了Create Users and Groups和Apply File Permissions for Parcels参数。
  • 优化从Agent到Service Monitor的Avro指标：对Cloudera Manager Agent和Service Monitor之间的通信进行了优化，显着增加了依赖于协议受影响部分的服务的监控吞吐量，比如Kafka和Kudu服务的监控就能获得收益。该优化不需要用户执行任何操作。

2.SDX增强功能

  • 支持将CDH5.x/6.x中Sentry的Solr权限策略映射到CDP的Ranger。
  • Hive Ranger Plugin中的粗略URI检查（coarse URI checking）为具有大量文件夹和文件的Hive URL路径显著提升性能。
  • Ranger中新的usersync配置提供了一种更简单、更轻松的方式来维护LDAP组。
  • Ranger Ozone集成插件现在支持对子路径进行递归ACL检查并提供多租户支持。
  • Atlas现在支持数据从HDFS中的一个目录移动到另一个目录时的血缘。
  • Ranger RMS现在完全支持数据库级别的授权，在Hive DB级别和HDFS赋予的授权现在可以传播到DB目录，它下面所有的表和分区。

3.Data Warehouse增强

  • Impala现在可以读取Full ACID表，并且可以在ACID表被压缩时识别同时Invalidate Catalog Cache。这样可以让BI用户将Hive ACID表与Impala结合起来一起使用。
  • Impala现在支持select list中具有多个 UNNEST()、select和视图list中的数组的复杂类型。
  • Impala现在支持事务表的分区级别事件的细粒度表刷新，从而提高了性能。新增配置incremental_refresh_acid，可以开启/关闭细粒度表刷新。
  • Impala现在支持改进的Events Processor自事件(self-event)检测，从而为处理Catalog更改提供更好的一致性和可靠性。
  • Impala现在扩展了对非ASCII UTF-8字符的支持，可以返回与Hive字符串函数一样的长度。
  • Impala现在将支持Kudu “ignore”操作，如 INSERT_IGNORE、UPDATE_IGNORE 和 DELETE_IGNORE，以处理用户希望忽略的主键错误情况，从而提供更好的用户体验。
  • Hive现在对HMS的滚动重启提供更好的操作管理。
  • 改进Hive ACID，包括Hive ACID压缩可观察性、Hive 3上的Hive3/ACID MERGE INSERT MAPPING 以及改进操作的其他修复，例如：
    • 更快的CREATE TABLE (no-rename CTAS)；
    • 始终拆分Update并跳过排序插入行；
    • 加速Drop Table/Drop Partition{}；
    • 通过改进的读锁减少ACID的HMS负载；
    • 更快的Sequence numbers；
    • 内部表命名约束（TBL_ID或name）；
    • 消除单个事务锁的更干净的操作。
  • Kudu现在完全支持与Ranger KMS集成后的透明数据加密。
  • Kudu现在允许在创建表和更改表时更改每个range分区的哈希bucket数，从而提高写入吞吐量和性能。

4.自助服务分析

  • Hue支持与Spark SQL集成，并支持自动补齐。
  • Hue支持与Phoenix集成。
  • Hue现在提供了一个原生的Query Processor，可以索引和读取Hive查询历史，类似以前DAS的功能。

5.Operational Database

HBase被rebase到2.4.6，支持复制Meta region副本， 增强region的normalizers和storefile的跟踪。

HBase 现在支持 MCC（multi cluster client support，多集群客户端支持），通过较少的代码修改就能在单个HBase集群和多HBase客户端之间切换。

6.平台增强

  • 平台现在支持使用Oracle 19c RAC的HA。
  • Ozone现在支持balancer，从而将数据平均分布到所有节点上。
  • Ozone现在支持原子操作，可以轻松处理嵌套目录和子目录，从而大大提高删除、移动和重命名的性能。
  • Ozone现在支持纠删码，可提供更好的TCO并至少减少1.3倍的存储空间。
  • HDFS现在支持多个Standby NameNode，提供更好的容错能力。
  • Ozone现在与Replication Manager集成，从而提供Ozone - Ozone集群之间的数据复制和备份。
  • Ozone现在支持S3多租户，允许为S3 use case隔离bucket和volume。
  • Replication Manager现在支持Hive ACID表复制。
  • YARN的Dynamic Queue Scheduling功能使用户能够动态更改队列资源分配。

7.实时组件增强

  • Kafka
    • Kafka更新到3.x；
    • 现在可以使用支持OpenID Connect等后端的OAuth workflows对Kafka Broker进行身份认证；
    • Kafka滚动重启可以通过多种方式完成，旨在通过在重启后检查Broker的健康状况来确保集群继续稳定运行，选项包括：强制重启(Forceful restart)、服务请求(Serving Requests)、Min-ISR满足(Min-ISR meet)、所有分区健康(All Partitions Healthy)。
  • Streams Messaging Manager (SMM)
    • 可以在SMM UI中更改Consumer Group Offsets，而不用去命令行；
    • 现在可以在SMM Replications选项卡中看到Multiple Replication Targets；
    • Data Explorer中返回的数据量已经过优化，以提高大型消息的性能；
    • 通过优化分区信息而不是在所有情况下自动加载指标来提高UI性能。
  • Streams Replication Manager (SRM)
    • SRM 现在可以从多个目标收集指标，例如要显示在SMM Replications选项卡上的双向复制；
    • SRM可以执行远程查询以从不相交(disjoin)的集群中收集复制指标，这些指标可以显示在SMM Replications选项卡上；
    • SRM REST API中添加了其他指标。
  • Schema Registry
    • 现在可以使用基于JSON的Schemes；
    • 添加了基于REST API的导入/导出功能，允许备份/恢复操作以及使用不同后端的环境之间同步Schema Registries；
    • 现在可以将Schema Registry默认兼容性更改为向后兼容；
    • 现在可以使用支持身份验证后端（如 OpenID Connect）的 OAuth workflows 来完成对Schema Registry的身份认证；
    • 现在可以在Atlas中直接查看Topic Schemas。
  • Cruise Control
    • Cruise Control升级到2.5。
  • KConnect
    • 无状态NiFi KConnector允许在KConnect中运行NiFi流；
    • KConnect企业级安全增强包括授权，身份认证，加密存储以及和Ranger集成；
    • 新的KConnectors；
    • 适用于PostgreSQL、MySQL、SQL Server、DB2 和Oracle的CDC Debezium KConnectors。

原文参考：

代码语言：javascript复制
https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202208-718.html

Cloudera Manager 7.7.1发布说明：

代码语言：javascript复制
https://docs.cloudera.com/cdp-private-cloud-base/7.1.8/manager-release-notes/topics/cm-whats-new-771.html

Cloudera Runtime 7.1.8发布说明：

代码语言：javascript复制
https://docs.cloudera.com/cdp-private-cloud-base/7.1.8/runtime-release-notes/topics/rt-pvc-whats-new.html

下载CM 7.7.1：

代码语言：javascript复制
https://archive.cloudera.com/cm7/7.7.1/

下载CDP Runtime 7.1.8：

代码语言：javascript复制
https://archive.cloudera.com/cdh7/7.1.8.0/
hive 大数据 kafka hbase api

0 人点赞