Cloudera Manager主机管理

2020-11-25 11:16:00 浏览数 (1)

Cloudera Manager提供了多种功能来管理集群中的主机。

查看主机状态

您可以查看有关由Cloudera Manager管理的主机的摘要信息。您可以查看所有主机，集群中的主机或单个主机的信息。

查看所有主机

要显示有关由Cloudera Manager管理的所有主机的摘要信息，请单击左侧菜单中的主机>所有主机。将显示“所有主机”页面，其中列出了由Cloudera Manager管理的所有主机。

主机列表显示由Cloudera Manager管理的集群中主机的整体状态。

  • 提供的信息根据选择的列而有所不同。要更改列，请单击“列:n选定”下拉列表，然后选择要显示的列旁边的复选框。
  • 单击角色数量左侧的，以列出该主机上运行的所有角色实例。
  • 在搜索框中输入搜索词（主机名、IP地址或角色），以逗号或空格分隔，以过滤主机列表。使用引号来表示完全匹配（例如，包含空格（例如角色名称）的字符串）和方括号来搜索范围。显示与任何搜索词匹配的主机。例如：
代码语言：javascript复制
hostname[1-3], hostname8 hostname9, "hostname.example.com"
hostname.example.com “HDFS DataNode”
  • 您还可以通过从页面左侧“过滤器”部分的构面中选择一个值来搜索主机。单击“过滤器”切换以显示或隐藏“过滤器”部分。

查看集群中的主机

请执行以下任一操作：

  • 选择集群>集群名称>主机 。
  • 在主屏幕中，单击完整表格集群表。

将显示“所有主机”页面，其中列出了按集群名称过滤的主机。

查看单个主机

通过单击“所有主机”页面上的主机链接，可以查看有关单个主机的详细信息-已使用和可用的资源（CPU /内存/存储）、正在运行的进程、有关主机代理的详细信息等等。

将主机添加到集群

将主机添加到集群的步骤。

您可以使用“添加主机”向导将一个或多个主机添加到集群中，该向导将安装JDK，Cloudera Runtime和Cloudera Manager Agent软件。安装软件并启动Cloudera Manager代理后，该代理将连接到Cloudera Manager Server，您可以使用Cloudera Manager管理控制台来管理和监控新主机上的Cloudera Runtime。

“添加主机”向导不会在新主机上创建角色。成功添加主机后，您既可以添加角色，一次添加一项服务，也可以应用主机模板，该模板可以为多个角色定义角色配置。

重要

  • 不合格的主机名（短名称）在Cloudera Manager实例中必须唯一。例如，您不能同时由同一Cloudera Manager Server管理host01.example.com和 host01.standby.example.com。
  • 单个集群中的所有主机必须运行相同版本的CDH。
  • 添加新主机时，必须安装相同版本的CDH，以使新主机能够与集群中的其他主机一起使用。安装向导使您可以选择要安装的CDH的版本，还可以选择一个自定义存储库以确保所安装的版本与其他主机上的版本匹配。
  • 如果要管理多个集群，请选择与计划在其中添加新主机的集群上使用的CDH版本匹配的CDH版本。
  • 当您添加新主机时，将发生以下情况：
    • YARN的topology.map已更新为包括新主机
    • 所有服务（Flume，Hive，Hue，Oozie，Solr，Spark，YARN）的配置中如果包括topology.map，都标记为过时

添加主机后的方便点，您应该重新启动陈旧的服务以选择新配置。

Parcel

在Parcel标签页面，你可以下载、分发、并激活可用的parcel到集群中。您可以使用parcel将新产品添加到集群中，或升级已经安装的产品。

配置主机

通过“配置”选项卡，您可以设置与Parcel和资源管理相关的属性，还可以监控受管理主机的属性。

您在此处进行的配置设置将影响所有托管主机。您还可以通过单击“所有主机”页面中的主机来配置单个主机的属性，这将覆盖此处设置的全局属性。

要编辑主机的默认配置属性，请单击“配置”选项卡。

查看主机角色分配

您可以按以下方式查看对主机的角色分配：

  1. 在左侧菜单中，点击 主机>角色。

2.单击集群名称或所有集群。

主机模板

“主机模板”页面使您可以创建和管理主机模板，这提供了一种方法，用于指定应应用于主机的一组角色配置。

主机模板使您可以指定一组角色组，这些角色组可以通过一次操作应用于一个主机或一组主机。当您需要扩展集群时，这将大大简化配置新主机的过程。CDH 4和CDH 5集群主机均支持主机模板。

重要

主机模板只能应用于CDH版本与该主机模板所属的集群上运行的CDH版本相匹配的CDH。

您可以通过单击主机>主机模板来创建和管理 主机模板。

不需要模板；执行初始集群安装时，Cloudera Manager会将角色和角色组分配给集群的主机。但是，如果要将新主机添加到集群，则主机模板可以使此操作变得更加容易。

如果存在现有主机模板，则会在页面上列出它们，以及指向模板中包含的每个角色组的链接。

如果要管理多个集群，则必须为每个集群创建单独的主机模板，因为模板指定了特定于单个集群中角色的角色配置。现有主机模板在它们适用的集群下列出。

  • 您可以单击角色组名称，以转到该角色组的“编辑配置”页面，您可以在其中修改角色组设置。
  • 在与模板关联的“操作”菜单中，您可以编辑、克隆或删除模板。

主机磁盘概述

如何查看集群中所有磁盘的状态。

在左侧菜单中，单击 主机>磁盘概述，以显示部署中所有磁盘状态的概述。公开的统计信息匹配或以上的统计为基础iostat，并显示为一系列直方图，默认情况下覆盖系统中的每个物理磁盘。

调整时间线的端点以查看不同时间段的统计信息。在框中指定过滤器以限制显示的数据。

例如，要查看单个机架rack1的磁盘，请将过滤器设置为：logicalPartition = false and rackId = "rack1"，然后单击 过滤器。单击直方图以向下钻取并识别离群值。将鼠标悬停在图表上，然后单击以显示有关图表的其他信息。

删除主机

您可以通过两种方式从集群中删除主机：

  • 从Cloudera Manager中完全删除主机。
  • 从集群中删除主机，但将其留给Cloudera Manager管理的其他集群使用。

两种方法都将停用主机，删除角色并删除托管服务软件，但保留数据目录。

从Cloudera Manager删除主机

要从Cloudera Manager删除主机，请首先停用该主机，然后将其删除。

  1. 在Cloudera Manager管理控制台中，转到主机>所有主机。
  2. 选择要删除的主机。
  1. 选择“选定的操作>主机停用”。
  1. 在主机上停止代理。
  2. 在Cloudera Manager管理控制台中，转到 主机>所有主机。
  3. 重新选择在步骤2中选择的主机。
  4. 选择“已选择的操作” >“从Cloudera Manager中删除”。

从集群中删除主机

从集群中删除主机将保留由Cloudera Manager管理的主机，并保留Cloudera Management Service角色（例如，事件服务器，活动监控器等）。

  1. 在Cloudera Manager管理控制台中，单击主机选项卡。
  2. 选择要删除的主机。
  3. 选择“选定对象的操作” >“从集群中删除”。将显示“从集群中删除主机”对话框。

4.将选择保留为停用角色，然后跳过删除Cloudera Management Service角色。单击确认以继续删除选定的主机。

停止主机上的所有角色

您可以从“主机” 页面停止主机上的所有角色。

  1. 在左侧菜单中，单击 集群>主机 或主机>所有主机。
  2. 选择一个或多个要停止所有角色的主机。
  3. 选择“选定对象的操作” > “在主机上停止角色”。

启动主机上的所有角色

您可以从“主机” 页面上启动主机上的所有角色。

  1. 单击主机选项卡。
  2. 选择一个或多个要启动所有角色的主机。
  3. 选择“选定对象的操作” >“在主机上启动角色”。

更改主机名

在安装Cloudera Manager并创建集群之后，可能需要更新运行Cloudera Manager Server或集群服务的主机的名称。

重要

  • 此处描述的过程需要Cloudera Manager和集群停机。
  • 如果有任何用户创建的脚本引用了特定的主机名，则还必须更新这些主机名。
  • 由于执行过程的长度和复杂性，Cloudera不建议更改集群主机名。

在集群之间移动主机

要在集群之间移动主机，必须首先停用主机，从主机中删除角色，然后完成其他任务。

配置升级域

升级域允许对集群主机进行分组，以在重新启动和升级期间获得最佳性能。

升级域支持更快的集群重启，更快的Cloudera Runtime升级以及跨大型集群的无缝OS补丁和硬件升级。升级域提供了默认HDFS块放置策略的替代方法，可在一组主机（可能比单个机架大）上分布数据，Cloudera Manager可以立即升级/重新启动这些主机，而不会影响服务和数据可用性。当您选择升级为域块放置策略，您还可以指派一个升级域组到每个数据节点主机。NameNode使用这些组在写入数据时分配块，并安排滚动重启和升级。对于超大型集群或频繁重新启动滚动的集群，此功能很有用。

例如，如果将HDFS配置为默认复制因子3，则NameNode会将副本块放置在3个不同的“升级域”中的DataNode主机上以及至少两个不同的机架上。

注意

  • Cloudera建议您为每个升级域分配大约相等数量的DataNode主机。
  • 集群中的升级域数应大于或等于HDFS复制因子。在集群上执行滚动重新启动时，升级域组中的所有主机将同时重新启动，随后其余每个升级域组中的主机也将重新启动。
  • 您应该创建足够数量的升级域，以便当单个升级域中的所有主机都脱机时，集群仍可以正常运行。升级域的适当数量取决于集群的工作负载和容量，并且可能需要调整以获得最佳性能。
  • 为了利用改进的滚动重启性能，升级域组不应重复机架分配。升级域组中的主机数应大于机架中的主机数。
  1. 为所有主机配置升级域：
    1. 单击 主机>所有主机。
    2. 选择要添加到升级域的主机。
    3. 单击“所选操作” >“分配升级域”

c.在“新升级域”字段中输入升级域的名称 。

e. 单击确认按钮。

2.设置HDFS块副本放置策略：

  1. 打开Cloudera Manager管理控制台。
  2. 转到集群的HDFS服务。
  3. 单击配置选项卡。
  4. 搜索“ HDFS块副本放置策略”配置参数。

e.选择升级域。

f.分配给每个主机的升级域显示在“所有主机”页面上的“升级域”列中。（您可能需要将此列添加到表中：单击 表上方的“列”下拉列表，然后选择“升级域”列。）

g.单击保存更改。

3.重新启动HDFS服务。

为主机指定机架

为了获得最佳性能，配置Cloudera Manager以便了解网络的拓扑非常重要。网络位置（例如主机和机架）用树表示，该树反映了位置之间的网络“距离”。HDFS将使用网络位置来更智能地放置块副本，以权衡性能和弹性。

在主机上放置作业时，CDP比机架内传输更喜欢机架内传输（那里有更多可用带宽）。MapReduce和YARN调度程序使用网络位置来确定最接近的副本在哪里作为映射任务的输入。这些计算是在机架识别脚本的帮助下执行的。

Cloudera Manager包含内部机架感知脚本，但是您必须指定集群中主机所在的机架。如果您的集群包含10个以上的主机，则Cloudera建议您为每个主机指定机架。HDFS、MapReduce和YARN将自动使用您指定的机架。

Cloudera Manager支持嵌套机架规格。例如，您可以指定rack：/rack3，或/group5/rack3表示第五组中的第三个机架。集群中的所有主机在其机架规格中必须具有相同数量的路径组件。

  1. 单击主机>所有主机。
  2. 选择要分配给机架的主机。
  3. 单击“选定对象的操作” >“分配机架”。

4.输入以斜杠/开头的机架名称或ID ，例如/rack123或 /aisle1/rack123。

5.点击确认。

6.（可选）重新启动所有受影响的服务。机架分配不会针对正在运行的服务自动更新。

在集群主机上执行维护

您可以通过使用Cloudera Manager管理主机停用和重新启用过程来在集群主机上执行次要维护。

在此过程中，您可以指定是否从退役的主机中抑制警报，对于运行DataNode角色的主机，您可以指定是否将复制不足的数据块复制到其他DataNode以维护集群的复制因子。当在集群主机上执行较小的维护时，例如添加内存或更换网卡或电缆（预期维护时段较短，并且由于缺少丢失的块而浪费额外的集群资源是不希望的）时，此功能很有用。

您还可以将主机置于维护模式，该模式可在维护窗口期间抑制不必要的警报，但不会停用主机。

要在集群主机上执行主机维护：

  1. 停用主机。
  2. 在主机上执行必要的维护。
  3. 重新托管主机。

原文链接：https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/concepts/topics/cm-host-management.html

https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/managing-clusters/topics/cm-managing-hosts.html

专用宿主机 大数据

0 人点赞