【最全的大数据面试系列】Hadoop面试题大全（一）

2021-12-14 13:05:14 浏览数 (1)

作者 ：“大数据小禅” 本专栏主要分享收集的大数据相关的面试题，涉及到Hadoop，Spark，Flink，Zookeeper，Flume，Kafka， Hive，Hbase等大数据相关技术。大数据面试专栏地址。 个人主页：大数据小禅

面试题目录
  • 1、集群的最主要瓶颈
  • 2、Hadoop运行模式
  • 3、HDFS写流程
  • 4、解释“hadoop”和“hadoop 生态系统”两个概念
  • 5、请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?
  • 6、 HDFS 中的 block 默认保存几份？
  • 7、HDFS读流程
  • 8、负责HDFS数据存储的是哪一部分？
  • 9、SecondaryNameNode的目的是什么？
  • 10、hadoop的块大小，从哪个版本开始是128M
  • 11、HDFS 在读取文件的时候,如果其中一个块突然损坏了怎么办
  • 12、econdary namenode工作机制
    • 13、HDFS组成架构
  • 总结

1、集群的最主要瓶颈

磁盘IO

2、Hadoop运行模式

单机版、伪分布式模式、完全分布式模式

3、HDFS写流程

1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一个可以上传的信息

2）client 根据文件的大小进行切分，默认 128M一块，切分完成之后给namenode 发送请求第一个 block 块上传到哪些服务器上

3）namenode 收到请求之后，根据网络拓扑和机架感知以及副本机制进行文件分配，返回可用的 DataNode 的地址

4）客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调用 C，将整个 pipeline 建立完成，逐级返回 client

5）client 开始向 A 上发送第一个 block（先从磁盘读取数据然后放到本地内存缓存），以 packet（数据包，64kb）为单位，A 收到一个 packet 就会发送给 B，然后 B 发送给 C，A 每传完一个 packet 就会放入一个应答队列等待应答

6）数据被分割成一个个的 packet 数据包在 pipeline 上依次传输，在pipeline 反向传输中，逐个发送 ack（命令正确应答），最终由 pipeline 中第一个 DataNode 节点 A 将 pipelineack 发送给 Client

7）当一个 block 传输完成之后, Client 再次请求 NameNode 上传第二个block ，namenode 重新选择三台 DataNode 给 client

4、解释“hadoop”和“hadoop 生态系统”两个概念

Hadoop是指Hadoop框架本身；hadoop生态系统，不仅包含hadoop，还包括保证hadoop框架正常高效运行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等辅助框架。

5、请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?

1）NameNode：它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。 2）SecondaryNameNode：它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。 3）DataNode：它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进程。 4）ResourceManager（JobTracker）：JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。 5）NodeManager：（TaskTracker）执行任务。 6）DFSZKFailoverController：高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。 7）JournalNode：高可用情况下存放namenode的editlog文件。

6、 HDFS 中的 block 默认保存几份？

默认保存3份

7、HDFS读流程

1）client 向 namenode 发送 RPC 请求。请求文件 block 的位置

2）namenode 收到请求之后会检查用户权限以及是否有这个文件，如果都符合，则会视情况返回部分或全部的 block 列表，对于每个 block，NameNode都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后

3）Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode,那么将从本地直接获取数据(短路读取特性)

4）底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕

5）当读完列表的 block 后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表6）读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的DataNode 继续读

7）read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode只是返回 Client 请求包含块的 DataNode 地址，并不是返回请求块的数据

8） 最终读取来所有的 block 会合并成一个完整的最终文件

8、负责HDFS数据存储的是哪一部分？

DataNode负责数据存储

9、SecondaryNameNode的目的是什么？

他的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间

10、hadoop的块大小，从哪个版本开始是128M

Hadoop1.x都是64M，hadoop2.x开始都是128M。

11、HDFS 在读取文件的时候,如果其中一个块突然损坏了怎么办

客户端读取完 DataNode 上的块之后会进行 checksum 验证，也就是把客户端读取到本地的块与 HDFS 上的原始块进行校验，如果发现校验结果不一致，客户端会通知NameNode，然后再从下一个拥有该 block 副本的 DataNode 继续读

12、econdary namenode工作机制

1）第一阶段：NameNode启动   （1）第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。   （2）客户端对元数据进行增删改的请求。   （3）NameNode记录操作日志，更新滚动日志。   （4）NameNode在内存中对数据进行增删改查。 2）第二阶段：Secondary NameNode工作   （1）Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。   （2）Secondary NameNode请求执行checkpoint。   （3）NameNode滚动正在写的edits日志。   （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。   （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。   （6）生成新的镜像文件fsimage.chkpoint。   （7）拷贝fsimage.chkpoint到NameNode。   （8）NameNode将fsimage.chkpoint重新命名成fsimage。

NameNode与SecondaryNameNode 的区别与联系？ 1）区别   （1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。   （2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 2）联系：   （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件（fsimage）和编辑日志（edits）。   （2）在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

13、HDFS组成架构

架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1）Client：就是客户端。   （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储；   （2）与NameNode交互，获取文件的位置信息；   （3）与DataNode交互，读取或者写入数据；   （4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS；   （5）Client可以通过一些命令来访问HDFS； 2）NameNode：就是Master，它是一个主管、管理者。   （1）管理HDFS的名称空间；   （2）管理数据块（Block）映射信息；   （3）配置副本策略；   （4）处理客户端读写请求。 3）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。   （1）存储实际的数据块；   （2）执行数据块的读/写操作。 4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。   （1）辅助NameNode，分担其工作量；   （2）定期合并Fsimage和Edits，并推送给NameNode；   （3）在紧急情况下，可辅助恢复NameNode。

总结

Hadoop的面试题总共分成两个篇章，内容较多，小伙伴们可以选择自己需要的部分进行查看。

hadoop node.js 大数据

0 人点赞