0597-5.16.1-如何在CM界面自定义图表

2019-04-28 18:12:39 浏览数 (1)

作者:唐辉

1

文档编写目的

本篇文章主要介绍在Cloudera Manager 界面图表简单说明以及如何在CM界面通过tsquery创建自定义图表

  • 内容概述

1.文档说明

2.图表及tsquery简述

3.自定义图表示例

  • 测试环境

1.CM和CDH版本为CDH 5.16.1

2.操作系统版本为RedHat 7.2

2

图表及tsquery简述

在Cloudera Manager(以下简称CM) 中我们可以看到各种类型的图表,包括CPU、HDFS IO、Impala 已完成队列的等等,而这些在CM界面都可以通过tsquery语句(tsquery是Cloudera Manager按时间序列的方式从存储数据中检索数据的语句) 来进行构建。

2.1

图表操作简介

在CM主页中当安装完hadoop核心组件后默认会有如下图表:

需要查看图表明细也可以通过将鼠标放在图表上,点击如下图所示的放大图表查看

也可以在图表右上角的

图表中在图表生成器中打开,选择要查看图表的时间段和图表类型等

另外在每个组件中状态和图表库中也有很丰富的图表内容

2.2

自定义图表简介

除了上述的图表外,也可以在CM主页中选择 图表>图表生成器 中或者点击下图圈出的标签,在图表生成器页面通过tsquery来构建自定义图表。

使用自定义图表,首先需要对tsquery 有所了解,以下是tsquery一些常见的查询

1、按时间序列检索所有DataNode的所有指标。

代码语言:javascript复制
select * where roleType = DATANODE

2、按时间序列检索所有DataNode的 cpu_user_rate(用户cpu时间)

代码语言:javascript复制
select cpu_user_rate where roleType=DATANODE

3、按时间序列检索主机名为“cdh2.macro.com”的主机上运行的所有角色 jvm_heap_used_mb(已使用的jvm堆内存) 除以1024和 jvm_heap_committed_mb(提交的jvm堆内存) ,除以1024。

代码语言:javascript复制
select jvm_heap_used_mb/1024, jvm_heap_committed_mb/1024 where category=ROLE and hostname="cdh2.macro.com"

4、按时间序列检索 Cloudera Manager收集 jvm_total_threads(jvm线程总数) 和 jvm_blocked_threads(被阻止的jvm线程数)两个指标

代码语言:javascript复制
select jvm_total_threads,jvm_blocked_threads

下图是tsquery支持的部分函数,完整列表请查看参考文档:

下图是where 语句后可以添加的筛选条件:

3

自定义图表示例

除了上述简单官网介绍的示例外,下面简单介绍几个自定义的图表

3.1

集群整体内存使用情况图表示例

代码语言:javascript复制
SELECT physical_memory_used_across_hosts WHERE entityName = "1" AND category = CLUSTER

在CM 提供的查询语法中可以看到如下的关键字匹配

输入完成后点击构建图表,放大后查看可以看到如下图表,以及每个节点的内存使用分配信息和详细信息等

在图表生成器中生成后,可点保存,比如将图表保存到主页中

保存后如下:

3.2

某个或者某些主机的CPU使用情况示例

如果你需要对某个或者某些主机或者某个机架进行CPU使用情况图表进行查看,语句如下:

代码语言:javascript复制
SELECT cpu_percent where entityName="f1ee68ed-debb-4119-a398-44edb84eaabd" OR entityName="1d3296c7-5121-4dd4-8cb2-ef81913c7bd5"
#或者使用hostname 方式,与上一个tsquery 的结果一致
SELECT cpu_percent where hostname="cdh1.macro.com" OR hostname="cdh3.macro.com"
#查看机架/rack1 中的机器CPU 使用率
SELECT cpu_percent WHERE rackId="/rack1"

或者查询所有的cpu_percent ,然后通过下面圈出来的部分进行筛选

3.3

yarn:root资源池下所有YARN 作业情况查看示例

代码语言:javascript复制
SELECT apps_running_cumulative,apps_killed_cumulative_rate,apps_failed_cumulative_rate,apps_completed_rate WHERE entityName = "yarn:root" AND category = YARN_POOL

参考:

https://www.cloudera.com/documentation/enterprise/6/latest/topics/cm_dg_tsquery.html#concept_d2g_k11_dk

0 人点赞