0717-6.3.0-Cloudera Manager 6.3的新功能

2019-10-25 17:26:05 浏览数 (1)

CM/CDH6.3及更高版本支持OpenJDK11

你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11，在集群中安装OpenJDK 11时，默认使用G1GC为CDH大多数服务作为垃圾回收机制，这可能需要进行调优以避免内存过量使用。

OPSAPS-50993, OPSAPS-49390, OPSAPS-51643

CM支持FreeIPA和RedHat Identity Manager

Cloudera Manager现在支持FreeIPA和RedHat Identity Manager作为Kerberos KDC类型。

SPNEGO/Kerberos支持CM和API

Cloudera Manager管理控制台和API现在支持Kerberos身份认证（使用SPNEGO）。仅支持客户端使用SPNEGO(例如curl)。Cloudera Manager的Swagger和Python SDK不支持SPNEGO。

启用SPNEGO后，基于Swagger的Java和Python SDK以及较旧的Java SDK仍然可以使用HTTP Basic Authentication进行身份认证。旧版本的Python SDK已弃用。如果你需要依赖已经弃用的Python客户端进行一些操作，请不要启用SPNEGO。

如果你想为Cloudera Manager控制台和API启用SPNEGO/Kerberos认证，可以在Settings > Administration > External Authentication > "Enable SPNEGO/Kerberos Authentication for the Admin Console and API" 中勾选checkbox。需要重启Cloudera Manager才会生效。同时需要为集群启用Kerberos。

Cloudera Issue: OPSAPS-49753, OPSAPS-24297

Cloudera Manager Server证书到期监控和告警

现在，Cloudera Manager会在Cloudera Manager服务器TLS证书到期之前60天提醒你。你可以通过在Cloudera Management Service配置页面中搜索Expiry来查看和修改阈值。

代码语言：javascript复制
注意：TLS证书到期告警仅适用于Cloudera Manager Server证书。它不会在其他服务使用的证书即将到期前发出警告。

Cloudera Issue: OPSAPS-35977

Root CA支持Auto-TLS

对于新搭集群，auto-TLS可以为现有内部root CA创建并使用中间CA。这将建立对现有内部root CA的信任链，并允许信任root CA的内部主机在访问集群的web资源时不会出现浏览器安全警告。

已经部署好的集群不支持该功能。

Cloudera Issue: OPSAPS-50063

Service和Host Monitor的GC配置

Cloudera Manager的Host monitor和Service Monitor默认使用G1GC作为垃圾回收。你可以在Java Configuration Options for Host Monitor和Java Configuration Options for Service Monitor配置属性中修改Java选项，进入Clusters > Cloudera Management Service然后搜索“java”。

Cloudera Issue: OPSAPS-50123

JournalNode Syncer的新配置参数

CDH6.3及以后版本增加了Enable JournalNode Syncer。启用后，JournalNode 会定期将edits log与其它JournalNode进行同步。

当HDFS启用高可用后，HDFS增加Shared Edits Directory，这使JournalNode Syncer可以启动并正常工作。

Cloudera Issue: OPSAPS-51249

新的Kafka配置参数和指标

如果使用CDK 4 Kafka版本，Cloudera Manager新增以下Kafka配置与默认值：

  • num.network.threads=8
  • num.recovery.threads.per.data.dir=1
  • num.replica.fetchers=4 (default changed from 1)

新指标：

  • broker
  • broker level topic
  • controller
  • fetch session cache
  • log cleaner
  • network
  • replica manager
  • session expire listener
  • zookeeper client

Cloudera Issue: OPSAPS-49741

通过CM模板简化了启用Kerberos

在Cloudera Manager模板的instantiator部分中添加了一个名为enableKerberos的新部分，比如：

代码语言：javascript复制
"instantiator": { 
    "clusterName": "test", 

     "enableKerberos": { 
         "datanodeTransceiverPort" : <optional/default 1004>, 
         "datanodeWebPort" : <optional/default 1006> 
      }, 
      . 
      .

这个模板可以为所有服务启用Kerberos。

Cloudera Issue: OPSAPS-49704

Cluster Administrator角色现在可以创建和删除Data Context

在Virtual Private Cloud环境中仅仅能访问base集群的Cluster Administrator角色的用户，现在可以创建和删除Data Contexts。

Cloudera Issue: OPSAPS-49478

YARN配置参数

新增YARN配置参数：Enable Container Launch Debug Information，默认是禁用的。以前这个配置需要在NodeManager Advanced Configuration Snippet for yarn-site.xml中添加。

Cloudera Issue: OPSAPS-50709

Kudu集成Sentry

Cloudera Manager现在可以配置Kudu集成Sentry。

Cloudera Issue: OPSAPS-50359

Network Performance Inspector现在包含网络带宽测试

你现在可以使用Network Performance Inspector进行集群之间的网络带宽测试。

Cloudera Issue: OPSAPS-49682

计算集群支持Kafka

现在，你可以将Kafka服务添加到计算集群中。Kafka将在多个Kafka实例之间共享Sentry服务。

Cloudera Issue: OPSAPS-49165

改进BDR的Log Retention

现在，当你使用自定义日志位置进行BDR复制时，自动日志过期将根据设置清除这些自定义复制日志和元数据文件。为了维护每个复制调度任务的信息，设置现有用户可写的HDFS有效路径非常重要。

OPSAPS-50880

BDR诊断包包含过滤后的NameNode和Hive Metastore角色日志

BDR诊断包现在包含源集群和目标集群经过过滤的NameNode和Hive Metastore角色日志。可以根据以下条件过滤日志：

  • 诊断包中运行的所有复制任务的最早开始时间戳和最新结束时间戳。
  • HDFS和Hive复制作业的源和目标集群上已配置的日志级别（默认为INFO）。

以下角色日志会包含：

  • HDFS NameNode(HDFS和Hive复制作业)
  • Hive Metastore(Hive replication)

源集群和目标集群的角色日志最大上限均为201 MB（这是正常的CDH角色日志大小）。

你可以使用以下高级配置代码段配置这些日志集合：

  • HDFS Replication Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml
  • Hive Replication Advanced Configuration Snippet (Safety Valve) for hive-site.xml

在适用于Hive或HDFS的Advance Configuration Snippet输入以下配置参数(默认值在方括号中)：

代码语言：javascript复制
SKIP_HIVE_LOG_COLLECTION [false]
SKIP_HDFS_LOG_COLLECITON [false]
LOG_LEVEL [INFO]
LOG_SEARCH_TIMEOUT_MILLIS [300000]
LOG_ROLE_RESULT_LIMIT [10000]
LOG_TOTAL_BYTES_LIMIT [210763776]

Cloudera Issue: OPSAPS-49988

禁用指标汇总的选项

现在你可以随着时间的推移禁用指标汇总。这可以提高Service Monitor的性能。

Cloudera Issue: OPSAPS-50149

kerberos hive 大数据 kafka java

0 人点赞