接下来,通过YARN基本结构图进行进一步了解,如下图所示。
从YARN基本架构图来看,它主要由ResourceManager、NodeManager、APP
Mstr(ApplicationMaster)和Container四个组件构成,针对这四个组件的介绍如下。
ResourceManager
(1)处理客户端请求。
(2)负责整个集群的资源管理和分配。
(3)启动或监控APP
Mstr。
(4)监控NodeManager资源使用情况和Container的运行状态。
NodeManager
(1)负责本节点程序的运行,以及资源的管理和监控。
(2)向ResourceManager汇报本节点资源的使用情况和Container的运行状态。
(3)处理来自ApplicationMaster命令,包括Container启动、停止等请求。
APP Mstr
(1)负责与ResourceManager协调为应用程序申请资源(Container)并分配给内部的任务。
(2)负责与NodeManager通信以启动或停止任务。
(3)监控任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。
Container
Container是YARN中的资源抽象,封装了从节点上的多维度资源,如内存、CPU、磁盘、网络等。
认识了YARN的各个组件之后,我们将各个组件串联起来,了解YARN各组件间是如何协调工作的。
步骤1:用户向Yarn提交应用程序,其中包括用户程序、相关文件、启动ApplicationMaster命令、ApplicationMaster程序等。
步骤2:ResourceManager为该应用程序分配第一个Container,并且与Container所在的NodeManager通信,并且要求该NodeManager在这个Container中启动应用程序对应的ApplicationMaster。
步骤3:ApplicationMaster首先会向ResourceManager注册,这样用户才可以直接通过ResourceManager查看到应用程序的运行状态,然后它为准备为该应用程序的各个任务申请资源,并监控它们的运行状态直到运行结束,即重复后面4~7步骤。
步骤4:ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5:一旦ApplicationMaster申请到资源后,便会与申请到的Container所对应的NodeManager进行通信,并且要求它在该Container中启动任务。
步骤6:任务启动。NodeManager为要启动的任务配置好运行环境,包括环境变量、JAR包、二进制程序等,并且将启动命令写在一个脚本里,通过该脚本运行任务。
步骤7:各个任务通过RPC协议向其对应的ApplicationMaster汇报自己的运行状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以再任务运行失败时重启任务。
步骤8:应用程序运行完毕后,其对应的ApplicationMaster会向ResourceManager通信,要求注销和关闭自己。
本篇文章主要介绍了Apache Hadoop的YARN是什么,针对YARN的组件及工作流程进行了讲解,希望读者可以掌握YARN的基本概念,你学会了吗?