三个基本概念
- 数据块
- NameNode 管理文件系统的命名空间,维护所有文件和目录, 记录文件中各个块所在数据节点的信息
- DataNode
如果NameNode挂掉了怎麼辦 hadoop2有兩個NameNode,一個是active狀態,另一個是備份。一個宕機可以馬上切換成另一個,用戶則不會感覺到變化。
寫流程
- client對NameNode發出請求,NameNode返回信息
- client將文件切塊,對於每個塊,先传给集群中一個DataNode,再由集群内部自行备份。
- DataNode集群向NameNode报告备份完成,NameNode向client返回成功信息。
读流程
- client向NameNode发出请求,NameNode返回文件的信息。
- client向DataNode发出请求,接受各个数据块。如果有DataNode宕机,则转而向有备份的DataNode发出请求。
- 全部数据块接受完毕。