大数据开发:Hadoop HDFS安全模式讲解

2021-06-18 18:15:14 浏览数 (1)

HDFS作为Hadoop框架下的分布式文件系统,其中包括的知识点是非常繁杂的,尤其在理论学习阶段,如果不多花点时间学透彻,在后续的学习当中也会拖累学习进度。今天的大数据开发学习分享,我们就来讲讲Hadoop HDFS安全模式相关的问题。

安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当集群启动的时候,会首先进入安全模式,当系统处于安全模式时会检查数据块的完整性。

假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的副本的副本率0.999,我们的副本率0.6明显小于0.99,因此系统会自动的复制副本到其他的dataNode,使得副本率不小于0.999。如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多余的3个副本。

在安全模式下,系统会处于只读状态,NameNode不会处理任何数据块的复制和删除命令。DataNode会向NameNode上传他们数据块的列表,让NameNode得到数据块的位置信息,并对每个文件对应的数据块副本进行统计:

•当最小副本条件满足时,即:一定比例的数据块都到达最小副本数,系统会在30s后退出安全模式。

•当最小的副本条件未达到要求时,就会对副本数不足的数据块安排DataNode进行复制,直到达到最小的副本数。

注意:在启动一个刚刚格式化的HDFS时由于没有数据块,所以系统不会进入安全模式。

HDFS安全模式操作命令:

hdfs dfsadmin  -safemode  get #查看安全模式状态

hdfs dfsadmin  -safemode enter #进入安全模式

hdfs dfsadmin  -safemode leave #离开安全模式

安全模式相关参数在hdfs-site.xml 文件中配置:

<!-- 指定退出条件,需要达到最小副本数的数据块比例,默认是 0.999 -->

<property>

    <name>dfs.namenode.safemode.threshold-pct</name>

    <value>0.999f</value>

</property>

<!-- 指定系统退出安全模式时需要的延迟时间,单位为毫秒,默认为 30s -->

<property>

    <name>dfs.namenode.safemode.extension</name>

    <value>30000</value>

</property>

如果 NameNode 长时间处于安全模式,可能是因为 hdfs 的数据损坏过多。使用命令hadoop fsck / 检查 hdfs 文件分布的情况。

总的来说,HDFS作为分布式文件系统,为了保证数据存储的安全性和可靠性,是做出了非常严密的设计的,这也是安全模式存在的重要原因。

0 人点赞