弄懂Hadoop YARN

2021-07-16 10:41:37 浏览数 (1)

接下来,通过YARN基本结构图进行进一步了解,如下图所示。

从YARN基本架构图来看,它主要由ResourceManager、NodeManager、APP

Mstr(ApplicationMaster)和Container四个组件构成,针对这四个组件的介绍如下。

ResourceManager

(1)处理客户端请求。

(2)负责整个集群的资源管理和分配。

(3)启动或监控APP

Mstr。

(4)监控NodeManager资源使用情况和Container的运行状态。

NodeManager

(1)负责本节点程序的运行,以及资源的管理和监控。

(2)向ResourceManager汇报本节点资源的使用情况和Container的运行状态。

(3)处理来自ApplicationMaster命令,包括Container启动、停止等请求。

APP Mstr

(1)负责与ResourceManager协调为应用程序申请资源(Container)并分配给内部的任务。

(2)负责与NodeManager通信以启动或停止任务。

(3)监控任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

Container

Container是YARN中的资源抽象,封装了从节点上的多维度资源,如内存、CPU、磁盘、网络等。

认识了YARN的各个组件之后,我们将各个组件串联起来,了解YARN各组件间是如何协调工作的。

步骤1:用户向Yarn提交应用程序,其中包括用户程序、相关文件、启动ApplicationMaster命令、ApplicationMaster程序等。

步骤2:ResourceManager为该应用程序分配第一个Container,并且与Container所在的NodeManager通信,并且要求该NodeManager在这个Container中启动应用程序对应的ApplicationMaster。

步骤3:ApplicationMaster首先会向ResourceManager注册,这样用户才可以直接通过ResourceManager查看到应用程序的运行状态,然后它为准备为该应用程序的各个任务申请资源,并监控它们的运行状态直到运行结束,即重复后面4~7步骤。

步骤4:ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

步骤5:一旦ApplicationMaster申请到资源后,便会与申请到的Container所对应的NodeManager进行通信,并且要求它在该Container中启动任务。

步骤6:任务启动。NodeManager为要启动的任务配置好运行环境,包括环境变量、JAR包、二进制程序等,并且将启动命令写在一个脚本里,通过该脚本运行任务。

步骤7:各个任务通过RPC协议向其对应的ApplicationMaster汇报自己的运行状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以再任务运行失败时重启任务。

步骤8:应用程序运行完毕后,其对应的ApplicationMaster会向ResourceManager通信,要求注销和关闭自己。

本篇文章主要介绍了Apache Hadoop的YARN是什么,针对YARN的组件及工作流程进行了讲解,希望读者可以掌握YARN的基本概念,你学会了吗?

0 人点赞