昨天8月30日,Cloudera正式发布了CDH6.0。以下我们具体看看新功能。
Cloudera Manager6.0
1.对于一个CM管理多个集群的情况,可以细粒度的控制对某些集群的访问。
2.针对CDH各个组件以及Cloudera Manager本身的自动化的TLS设置安装。
3.单个CM支持管理2500 节点。
Cloudera Navigator6.0
在多集群的环境中,查询可以通过集群来区分。数据管理员对对象增加的描述没有字数限制。
Solr7
更好的应对无论是结构化数据还是非结构化数据。Solr7支持直接使用SQL查询,并且通过SQL接口可以将对非结构化数据的查询对接到传统BI工具。Cloudera Enterprise 6.0支持新的 JSON Facet Module以及Nested Documents,对于Solr7的新的查询界面UI也在6.x的Roadmap中。
Hive2
矢量化(vectorization )进一步提升分析性能,带来20%-80%的性能提升。
YARN
YARN可以在带有GPU的专有硬件上调度作业,对于深度学习用例的性能提升在5倍到10倍。
Cloudera Enterprise 6.0中的主要组件的升级:
- SDX
Cloudera Manager 6.0
Cloudera Director 6.0
Cloudera Navigator 6.0
Cloudera Navigator Key Trustee 6.0
Apache Sentry 2.0
Apache Kafka 1.0
- Analytics and Machine Learning Workloads
Apache Solr 7.0
Apache Spark 2.3
- Core Platform
Apache Hadoop 3.0
Apache Hive 2.1
Apache HBase 2.0
Apache Oozie 5.0
Apache Avro 1.8
Apache Parquet 1.9
升级或者安装前置:
- CDH
只支持从CDH5.7或以上版本升级到C6,所以如果你在使用CDH5.7以下版本,建议你至少先升级到5.7.
- 外部数据库支持:
MySQL 5.7或更高
MariaDB 5.5或更高
PostgreSQL 8.4或更高
Oracle 12c或更高
- JDK
Oracle JDK1.8,将不再支持JDK1.7
- 操作系统支持
RHEL 6.8或更高
RHEL 7.2或更高
SLES 12 SP2或更高
Ubuntu 16或更高
下载Cloudera Enterprise 6的地址:
https://archive.cloudera.com/cdh6/6.0.0/
https://archive.cloudera.com/cm6/6.0.0/