CDP-DC中部署Yarn

2020-07-07 10:06:19 浏览数 (1)

文档编写目的

本文主要介绍如何在CDP-DC集群上安装部署Yarn。

内容概述

1) CDP-DC集群上部署Yarn

2) Yarn UI演示

测试环境

1) CM和Cloudera Runtime版本为7.1.1

2) Redhat7.7

3) 拥有Cloudera Manager的管理员账号

4) 集群未启用Kerberos

部署Yarn

本文档提供有关如何使用Cloudera Data Platform数据中心安装过程部署Yarn的说明。

Yarn MR2部署步骤

1. 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务

2. 从服务列表中,选择“YARN (MR2 Included)”,然后单击“ 继续”。

3. 在“选择依赖项”页面上,选择要Yarn设置的依赖项:

Yarn的依赖项有两部分,一部分是必须依赖,HDFS和ZooKeeper已经默认选中,另一部分是可选依赖,这里后续使用ranger来管理yarn的安全,因此把ranger的依赖也选中。

4. 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:

这里给三个角色分配对应的主机。

5. 审核修改

在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。

6. “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。

7. 回到Cloudera Manager主页,查看Yarn服务

Yarn Queue Manager部署步骤

1) 从您的Cloudera Manager主页,转到状态选项卡> 群集名称> ... > 添加服务

从服务列表中,选择“YARN Queue Manager”,然后单击“ 继续”。

2) 在“选择依赖项”页面上,选择要Yarn Queue Manager设置的依赖项:

Yarn Queue Manager有一个必须依赖ZooKeeper,默认选中。

3) 在“分配角色”页面上,选择依赖项的角色分配,然后单击“继续”:

4) 审核修改

在“审核更改”页面上,大多数默认值都是可接受的,这里直接使用默认值。

5) “命令详细信息”页面显示了操作状态。完成后,系统管理员可以在stdout下查看安装日志。

6) 回到Cloudera Manager主页,查看Yarn服务

YARN预警修复

1) 可以看到YARN (MR2 Included) 有一个配置预警。

2) 设置yarn依赖Yarn Queue Manager即可。

进入到Yarn MR2的配置页面,Cloudera Manager主页->集群-> Yarn(MR2 included)->配置

找到Queue Manager 服务,复选Yarn Queue Manager,然后保存

点击

,重启Yarn,使变更生效。

在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。

Yarn测试

进入到terminal,执行下面的命令:

代码语言:javascript复制
export HADOOP_USER_NAME=hdfs
hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

总结

1. Yarn的UI更加人性化

2. 在CDP-DC中,默认的调度器从FairScheduler修改为CapacityScheduler。

0 人点赞