作者:唐辉
1
文档编写目的
本篇文章主要介绍在Cloudera Manager 界面图表简单说明以及如何在CM界面通过tsquery创建自定义图表
- 内容概述
1.文档说明
2.图表及tsquery简述
3.自定义图表示例
- 测试环境
1.CM和CDH版本为CDH 5.16.1
2.操作系统版本为RedHat 7.2
2
图表及tsquery简述
在Cloudera Manager(以下简称CM) 中我们可以看到各种类型的图表,包括CPU、HDFS IO、Impala 已完成队列的等等,而这些在CM界面都可以通过tsquery语句(tsquery是Cloudera Manager按时间序列的方式从存储数据中检索数据的语句) 来进行构建。
2.1
图表操作简介
在CM主页中当安装完hadoop核心组件后默认会有如下图表:
需要查看图表明细也可以通过将鼠标放在图表上,点击如下图所示的放大图表查看
也可以在图表右上角的
图表中在图表生成器中打开,选择要查看图表的时间段和图表类型等
另外在每个组件中状态和图表库中也有很丰富的图表内容
2.2
自定义图表简介
除了上述的图表外,也可以在CM主页中选择 图表>图表生成器 中或者点击下图圈出的标签,在图表生成器页面通过tsquery来构建自定义图表。
使用自定义图表,首先需要对tsquery 有所了解,以下是tsquery一些常见的查询
1、按时间序列检索所有DataNode的所有指标。
代码语言:javascript复制select * where roleType = DATANODE
2、按时间序列检索所有DataNode的 cpu_user_rate(用户cpu时间)
代码语言:javascript复制select cpu_user_rate where roleType=DATANODE
3、按时间序列检索主机名为“cdh2.macro.com”的主机上运行的所有角色 jvm_heap_used_mb(已使用的jvm堆内存) 除以1024和 jvm_heap_committed_mb(提交的jvm堆内存) ,除以1024。
代码语言:javascript复制select jvm_heap_used_mb/1024, jvm_heap_committed_mb/1024 where category=ROLE and hostname="cdh2.macro.com"
4、按时间序列检索 Cloudera Manager收集 jvm_total_threads(jvm线程总数) 和 jvm_blocked_threads(被阻止的jvm线程数)两个指标
代码语言:javascript复制select jvm_total_threads,jvm_blocked_threads
下图是tsquery支持的部分函数,完整列表请查看参考文档:
下图是where 语句后可以添加的筛选条件:
3
自定义图表示例
除了上述简单官网介绍的示例外,下面简单介绍几个自定义的图表
3.1
集群整体内存使用情况图表示例
代码语言:javascript复制SELECT physical_memory_used_across_hosts WHERE entityName = "1" AND category = CLUSTER
在CM 提供的查询语法中可以看到如下的关键字匹配
输入完成后点击构建图表,放大后查看可以看到如下图表,以及每个节点的内存使用分配信息和详细信息等
在图表生成器中生成后,可点保存,比如将图表保存到主页中
保存后如下:
3.2
某个或者某些主机的CPU使用情况示例
如果你需要对某个或者某些主机或者某个机架进行CPU使用情况图表进行查看,语句如下:
代码语言:javascript复制SELECT cpu_percent where entityName="f1ee68ed-debb-4119-a398-44edb84eaabd" OR entityName="1d3296c7-5121-4dd4-8cb2-ef81913c7bd5"
#或者使用hostname 方式,与上一个tsquery 的结果一致
SELECT cpu_percent where hostname="cdh1.macro.com" OR hostname="cdh3.macro.com"
#查看机架/rack1 中的机器CPU 使用率
SELECT cpu_percent WHERE rackId="/rack1"
或者查询所有的cpu_percent ,然后通过下面圈出来的部分进行筛选
3.3
yarn:root资源池下所有YARN 作业情况查看示例
代码语言:javascript复制SELECT apps_running_cumulative,apps_killed_cumulative_rate,apps_failed_cumulative_rate,apps_completed_rate WHERE entityName = "yarn:root" AND category = YARN_POOL
参考:
https://www.cloudera.com/documentation/enterprise/6/latest/topics/cm_dg_tsquery.html#concept_d2g_k11_dk