文档编写目的
本文主要介绍如何在CDP-DC集群上安装部署Yarn。
内容概述
1) CDP-DC集群上部署Yarn
2) Yarn UI演示
测试环境
1) CM和Cloudera Runtime版本为7.1.1
2) Redhat7.7
3) 拥有Cloudera Manager的管理员账号
4) 集群未启用Kerberos
部署Yarn
本文档提供有关如何使用Cloudera Data Platform数据中心安装过程部署Yarn的说明。
Yarn MR2部署步骤
1. 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务
2. 从服务列表中,选择“YARN (MR2 Included)”,然后单击“ 继续”。
3. 在“选择依赖项”页面上,选择要Yarn设置的依赖项:
Yarn的依赖项有两部分,一部分是必须依赖,HDFS和ZooKeeper已经默认选中,另一部分是可选依赖,这里后续使用ranger来管理yarn的安全,因此把ranger的依赖也选中。
4. 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:
这里给三个角色分配对应的主机。
5. 审核修改
在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。
6. “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。
7. 回到Cloudera Manager主页,查看Yarn服务
Yarn Queue Manager部署步骤
1) 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务
从服务列表中,选择“YARN Queue Manager”,然后单击“ 继续”。
2) 在“选择依赖项”页面上,选择要Yarn Queue Manager设置的依赖项:
Yarn Queue Manager有一个必须依赖ZooKeeper,默认选中。
3) 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:
4) 审核修改
在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。
5) “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。
6) 回到Cloudera Manager主页,查看Yarn服务
YARN预警修复
1) 可以看到YARN (MR2 Included) 有一个配置预警。
2) 设置yarn依赖Yarn Queue Manager即可。
进入到Yarn MR2的配置页面,Cloudera Manager主页->集群-> Yarn(MR2 included)->配置
找到Queue Manager 服务,复选Yarn Queue Manager,然后保存
点击
,重启Yarn,使变更生效。
在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。
Yarn测试
进入到terminal,执行下面的命令:
代码语言:javascript复制export HADOOP_USER_NAME=hdfs
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
总结
1. Yarn的UI更加人性化
2. 在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。