文档编写目的
本文主要介绍如何在CDP-DC集群上安装部署Yarn。
内容概述
1) CDP-DC集群上部署Yarn
2) Yarn UI演示
测试环境
1) CM和Cloudera Runtime版本为7.1.1
2) Redhat7.7
3) 拥有Cloudera Manager的管理员账号
4) 集群未启用Kerberos
部署Yarn
本文档提供有关如何使用Cloudera Data Platform数据中心安装过程部署Yarn的说明。
Yarn MR2部署步骤
1. 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务

2. 从服务列表中,选择“YARN (MR2 Included)”,然后单击“ 继续”。

3. 在“选择依赖项”页面上,选择要Yarn设置的依赖项:

Yarn的依赖项有两部分,一部分是必须依赖,HDFS和ZooKeeper已经默认选中,另一部分是可选依赖,这里后续使用ranger来管理yarn的安全,因此把ranger的依赖也选中。
4. 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:

这里给三个角色分配对应的主机。
5. 审核修改
在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。

6. “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。



7. 回到Cloudera Manager主页,查看Yarn服务

Yarn Queue Manager部署步骤
1) 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务

从服务列表中,选择“YARN Queue Manager”,然后单击“ 继续”。

2) 在“选择依赖项”页面上,选择要Yarn Queue Manager设置的依赖项:

Yarn Queue Manager有一个必须依赖ZooKeeper,默认选中。
3) 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:

4) 审核修改
在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。

5) “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。


6) 回到Cloudera Manager主页,查看Yarn服务

YARN预警修复
1) 可以看到YARN (MR2 Included) 有一个配置预警。

2) 设置yarn依赖Yarn Queue Manager即可。
进入到Yarn MR2的配置页面,Cloudera Manager主页->集群-> Yarn(MR2 included)->配置

找到Queue Manager 服务,复选Yarn Queue Manager,然后保存

点击

,重启Yarn,使变更生效。




在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。

Yarn测试
进入到terminal,执行下面的命令:
代码语言:javascript复制export HADOOP_USER_NAME=hdfs
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100





总结
1. Yarn的UI更加人性化
2. 在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。


