【Yarn】分布式资源管理框架Yarn

2021-09-10 11:19:11 浏览数 (1)

分布式资源管理框架Yarn

诞生背景

在Hadoop 1.x中,是没有Yarn这个分布式资源管理框架的,它在Hadoop 2.x中首次推出。它诞生的原因其实很简单,就是Hadoop 1.x中的架构存在一些问题。

Hadoop 1.x中包括HDFS和MapReduce。其中MapReduce身兼两职,它既是计算框架,又是资源管理框架。

它的架构是主从架构,其中Job Tracker为主节点,Task Tracker为从节点。

但Job Tracker既做资源管理,又做任务调度,负载太大。Client(客户端)向Job Tracker提交Job(作业),Job Tracker首先为提交的Job在从节点Task Tracker上分配资源,之后便将Job拆分为Task调度到Task Tracker中运行,而这些Task运行过程中的状态会实时向Job Tracker汇报,由Job Tracker来进行作业管理。

现在看来,作业的提交和运行流程也没有什么问题;但是在大型集群中,大量的Job被提交,会生成成百上千个Task,这些Task的资源分配和作业管理全都交由Job Tracker来进行,负载极大,会造成性能瓶颈。

而且在Hadoop 1.x中,没有实现集群高可用,所以Job Tracker存在单点故障,在这种架构下更容易出现问题。

其次,

0 人点赞