大家好，又见面了，我是你们的朋友全栈君。
hdfs 全称：Hadoop Distributed File System Hadoop分布式文件系统
设计基础与目标:
a: 硬件错误是常态。因此需要冗余
代码语言：javascript复制 冗余对hadoop来说不是额外功能，而是本身就需要的一个功能,这个很好理解,就是因为各个节点容易断掉,为了数据的安全性和可维护性,故需要冗余。b:内存的不稳定，cpu过热，硬盘损坏等等，节点duan掉。 c:流式数据访问。即数据批量读取而非随机读写，Hadoop擅长做的是数据分析，而不是事务处理
代码语言：javascript复制hadoop很少处理oltp(偶尔随机性的读写一些数据)d:大规模数据集 e:简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即文件时一经写入，关闭，就再也不能修改了
代码语言：javascript复制如果要修改,只能把原来的数据删除了,再插入。f: 程序采用数据就近原则分配节点执行
对于一个系统，安全可靠是企业的首选，那么hadoop给我们提供了那些安全策略呢？
（1）：冗余副本策略
代码语言：javascript复制 可以在hdfs-site.xml中设置复制因子指定副本数量
所有数据库都有副本
Datanode启动时，遍历本地文件系统，产生一份hdsf数据库和本地文件的对应关系列表(blockreport)汇报给namednode，namenode会将列表和自己的元数据记录的数据是否相符做出措施
(冗余的数量过小，难保证数据安全，备份过多，会导致空间的利用率过低，影响速度，降低性能)（2）机架策略
代码语言：javascript复制机架一般放在不同的机架上，机架间带宽要比机架内带宽要小.
HDFS的"机架感知",交换机之间的通讯问题。
节点间传递信息包，以感知是否存在同一个机架上。
一般在本地机架上存放一个副本，在其它机架上再存放别的副本，这样可以防止机架失效时丢失数据，也可以提高带宽利用率(冗余策略)。
这样的话防止整个机架失败的时候，数据找不到冗余了隐患。（3）心跳机制
代码语言：javascript复制 Namenode周期性的从datanode接收心跳信号和块报告。
数据节点会周期性的向Namenode发送blockreport，向它在本地文件系统中数据块和文件的对应关系。
Namenode会根据接收到的心跳信号和快报告验证元数据有没失效，如果不一致，则进行相应的修正和冗余的策略。
Namenode根据块报告验证元数据。
没有按时发送心跳的datanode会被标记为宕机，不会再给它任何的I/O请求。
如果datanode失效造成的副本数量下降，并且低于预先设计的阀值（在那个地方设置的阈值），Namenode会检测出这些数据块，并在合适的时机进行重新复制。
引发重新复制的原因还包括数据副本本身损坏，磁盘错误，复制因子被增大等。（4）安全模式
代码语言：javascript复制Namenode启动时会先经过一个"安全模式"阶段。
安全模式阶段不会产生数据写。
在此阶段Namenode接受各个datanode的报告(blockreport)，当数据块达到最小副本以上时,也就是Datanode的副本数，会被认为是"安全"的。
在一定比例(可设置)的数据块被确定为"安全"后，再过若干时间，安全模式结束。
当检测到副本数不足数据块，该快会被直接复制到达最小副本数。（5）校验和
代码语言：javascript复制在文件创立时，每个数据块产生校验和。
校验和会作为单独的一个隐藏文件保存在命名空间下。
客户端获取数据时可以检查校验是否相同，从而发现数据块是否损坏。
如果正在读取的数据块损坏，则可以继续读取其它的副本如果发现错误，则在快报告中向namenode汇报，并做出相应的措施（6）回收站
代码语言：javascript复制 删除文件时，其实是放入了回收站/trash。
回收站里的文件可以快速恢复。
可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值，就会被彻底的删除，并且释放占用的数据块。（7）元数据保护
代码语言：javascript复制映像文件和事务日志是namenode的核心数据，可以配置为拥有多个副本。hadoop 2.x之后就是secondaryNamenode
副本会降低Namenode的处理速度，但增加安全性。
如果Namenode依然是单点，如果发生故障要手工切换。使用zookeeper热备就会自动切换处于standby的namenode(8)快照机制
可能随着数据越来越大,现有的节点已经不能满足当前需求,需要新增加节点以扩充加快的速度,那么怎么增加新的点呢,只能去停掉整个集群然后操作吗？那其实也可以的,只要你的费用支持的起。
一般来说只要重新加数台机器，做以下步骤：
代码语言：javascript复制a:在新节点上安装好hadoop
b:把namenode的有关配置文件复制到该节点
c:修改master和slaves文件，增加节点(每一个节点都要改，采用脚本技术)
d:设置ssh免密码登陆该节点
e:单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)
f:运行start-balancer.sh进行数据负载均衡这样就能岁数据量的增加而不断加机器了。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/106125.html原文链接：https://javaforall.cn
