【HDFS】集群高可用

2021-09-10 11:17:38 浏览数 (1)

集群高可用

HDFS单节点架构存在的问题

HDFS单点架构存在一些问题,首先是NameNode内存受限,因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大,可能会将NameNode内存占满,这种情况下会导致HDFS的扩展性上限。

其次就是单点故障问题,主从架构的HDFS是依靠主节点NameNode来运转的,一旦主节点挂掉就会导致整个集群不可用。

Federation(联邦)机制

联邦机制是Hadoop 2.x中提出的解决NameNode内存瓶颈问题的水平横向扩展方案。

它将多台NameNode组成联邦,每一台NameNode负责存储一部分元数据信息,共同负责HDFS的正常运行。

联邦机制解决了NameNode单点的内存限制,提升了HDFS的扩展性能。

NameNode High Availability(高可用)机制

NameNode High Availability高可用机制是Hadoop 2.x中提出的,用于解决NameNode单节点故障问题的方案。实现高可用,至少提供两台NameNode做热备:Active、Standby&#

0 人点赞