hdfs

2019-05-25 09:35:47 浏览数 (1)

三个基本概念

  1. 数据块
  2. NameNode 管理文件系统的命名空间,维护所有文件和目录, 记录文件中各个块所在数据节点的信息
  3. DataNode

如果NameNode挂掉了怎麼辦 hadoop2有兩個NameNode,一個是active狀態,另一個是備份。一個宕機可以馬上切換成另一個,用戶則不會感覺到變化。

寫流程

  1. client對NameNode發出請求,NameNode返回信息
  2. client將文件切塊,對於每個塊,先传给集群中一個DataNode,再由集群内部自行备份。
  3. DataNode集群向NameNode报告备份完成,NameNode向client返回成功信息。

读流程

  1. client向NameNode发出请求,NameNode返回文件的信息。
  2. client向DataNode发出请求,接受各个数据块。如果有DataNode宕机,则转而向有备份的DataNode发出请求。
  3. 全部数据块接受完毕。

0 人点赞