温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢
1.文档编写目的
CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分，可以用来查看租户的资源使用情况，并可以通过Cloudera Manager的API导出资源使用报表。
默认群集利用率报告YARN是没有开启的，参考下图：
本文主要介绍如何开启YARN的容器资源使用收集功能。
- 内容概述
1.如何配置YARN的容器使用情况度量收集
2.容器使用情况度量收集测试
3.总结
- 测试环境
1.CDH5.13.1集群
2.采用root用户操作
3.集群未启用Kerberos
2.如何配置YARN的容器使用情况度量收集
1.首先在YARN服务中开启容器使用情况度量收集
对于“容器使用情况MapReduce作业用户”输入cmjobuser，点击“保存更改”。
2.这个时候CM会自动在HDFS中创建用于收集YARN容器使用情况的目录，/tmp/cmYarnContainerMetrics，用户属组为cmjobuser:hadoop，权限为770
3.回到CM主页发现YARN服务需要重启，然后无法获取用于运行MapReduce作业的用户，这里是cmjobuser。
4.在所有节点上创建cmjobuser这个用户，设置一下UID为1001，只要大于1000即可。
代码语言：txt复制[root@ip-172-31-6-148 shell]# sh ssh_do_all.sh node.list "useradd -u 1001 cmjobuser"
[root@ip-172-31-6-148 shell]# sh ssh_do_all.sh node.list "id cmjobuser"（可左右滑动）
创建这个用户需要注意UID必须大于1000，否则无法执行MapReduce任务，如下YARN的配置：
另外注意该用户不能在YARN的banned.users里，如下YARN的配置
5.重启YARN服务
等待重启完毕
可以发现YARN的警告已经消失了
6.查看YARN的利用率页面，显示正常
3.容器使用情况度量收集测试
1.随便运行一些Hive和MapReduce作业
2.等待CM执行用于聚合的MapReduce作业
这里注意资源池。实际并不会马上看到这个用于计算YARN容器资源使用的MapReduce作业，最多等待1小时。
3.再次回到集群利用率报告里的YARN，已经有数据显示。
4.总结
1.CM默认不开启YARN的资源使用率报告。
2.如果要开启，首先需要在各台机器创建一个UID大于1000的普通用户。还需要保证该用户不在YARN服务的banned.users里，否则都会导致无法运行MapReduce作业从而搜集YARN的使用率。
3.在开启该功能时，CM会在HDFS中自动创建两个目录，如果没有创建或者创建失败，可以通过CM再次创建，如下图
4.你也可以手动创建该目录，但需要注意目录权限
代码语言：txt复制[root@ip-172-31-6-148 ~]# sudo -u hdfs hdfs dfs -ls /tmp/cmYarnContainerMetricsAggregate
Found 2 items
drwxr-xr-x - cmjobuser cmjobuser 0 2018-01-24 08:08 /tmp/cmYarnContainerMetricsAggregate/2018012407
-rw-r--r-- 3 hdfs cmjobuser 10 2018-01-24 08:08 /tmp/cmYarnContainerMetricsAggregate/cm_checkpoint
[root@ip-172-31-6-148 ~]# sudo -u hdfs hdfs dfs -ls /tmp/cmYarnContainerMetrics
Found 1 items
drwxr-xr-x - yarn hadoop 0 2018-01-24 08:08 /tmp/cmYarnContainerMetrics/2018012408
[root@ip-172-31-6-148 ~]# hdfs dfs -ls /tmp/ |grep cmYarnContainer
drwxrwx--- - cmjobuser hadoop 0 2018-01-24 08:08 /tmp/cmYarnContainerMetrics
drwx------ - cmjobuser cmjobuser 0 2018-01-24 08:08 /tmp/cmYarnContainerMetricsAggregate（可左右滑动）
5.确保运行该MapReduce作业的cmjobuser能在YARN上有资源池运行作业。
- 如果你在CM中专门指定了一个池，如下配置
则需要确保CM的动态资源池配置的放置规则中有如下策略：
- 否则你需要在YARN中创建你在CM中指定的这个队列。
注：Fayson在测试过程中，CM并没有专门指定队列，所以在运行任务的时候默认使用的是第二条放置策略，即：使用池 root.users.username ，如果该池不存在则加以创建。
6.CM自动两次执行用于计算YARN容器资源使用的聚合MapReduce作业，间隔为1小时。
参考：
https://www.cloudera.com/documentation/enterprise/latest/topics/admin_cluster_util_report.html#concept_pkb_nwn_2v
提示：代码块部分可以左右滑动查看噢 为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
