《Yarn的使用教程》--- 大数据系列

一、Yarn简介：

YARN主要是将资源管理和作业监控拆分成了两个独立的服务： 1. ApplicationMaster:每个应用程序特有的，负责单个应用程序的管理。 2. ResourceManager:一个全局的资源管理器，负责整个系统的资源管理和分配。

Yarn原理图

上图解析：ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度，而NodeManager是监控每一个台客户机器的cpu，内存，硬盘和网络状况，同时汇报给ResourceManager。

主要概念介绍完了，如果想看更多可移步官网

二、Yarn的安装和使用

前提：Hadoop已经安装完成，可参考安装教程

进入hadoop根目录，然后配置，基本上是MapReduce和yarn之间连接的配置：

代码语言：javascript复制

vi   etc/hadoop/mapred-site.xml

填入下面的配置：

代码语言：javascript复制

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property></configuration>

接着

代码语言：javascript复制

vi   etc/hadoop/yarn-site.xml

填入下面的配置：

代码语言：javascript复制

<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property></configuration>

启动

代码语言：javascript复制

$ sbin/start-yarn.sh

验证

代码语言：javascript复制

http://localhost:8088/

停止

代码语言：javascript复制

 $ sbin/stop-yarn.sh

提交一个MapReduce作业命令：

代码语言：javascript复制

hadoop jar /root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

到此Yarn搭建完成了。

mapreduce yarn hadoop node.js

0 人点赞