温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDFS的core-site.xml,hdfs-site.xml以及hadoop的操作命令。
如果你使用的是Apache Hadoop,你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可,但一旦集群的配置有所修改,你需要注意也同步到客户端机器。如果是CDH集群,客户端节点也会是Cloudera Manager管理的一台机器,它会被安装cloudera-scm-agent服务,以及CDH的Parcel,部署客户端配置Cloudera Manager会统一做,另外如果客户端机器出现异常,Cloudera Manager也会告警。
增加一台Gateway节点,与安装CDH非常类似,你必须要注意一定要做好客户端机器的前置条件准备,参考《CDH安装前置准备》,否则会增加失败。本文主要描述如何给CDH集群增加Gateway节点。
- 内容概述
1.创建Gateway节点的主机模板
2.Gateway节点的前置准备
3.增加Gateway节点到集群并应用主机模板
- 测试环境
1.CDH5.13
2.采用root用户操作
3.CentOS6.5
- 前置条件
1.CDH5.13集群运行正常
2.Gateway节点已准备
2.创建Gateway节点的主机模板
1.从Cloudera Manager进入“主机模板”页面
2.点击“创建”
3.给模板命名,并选择各个服务的Gateway角色
4.点击“创建”,确认创建成功
3.Gateway节点的前置准备
前置准备请参考Fayson之前的文章《CDH安装前置准备》,主要包括以下步骤:
1.确保OS的yum源可以正常使用,通过yum repolist命令可以查看到匹配的OS的所有包
2.确保Cloudera Manager的yum源运行正常
3.hosts文件配置,需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中,并同步到所有机器包括Gateway节点
4.禁用SELinux
5.关闭防火墙
6.设置swap为10
7.关闭透明大页面
8.配置时钟同步
请务必确保以上操作都已完成,并成功配置,否则接下来的增加节点操作会失败!
4.增加Gateway节点的集群并应用主机模板
1.进入“所有主机”页面
2.点击“向群集添加主机”
3.选择“经典向导”
4.继续
5.输入Gateway节点的IP或者hostname,点击搜索
点击“继续”
6.选择“自定义存储库”,并输入Cloudera Manager的yum源http地址,点击“继续”
7.勾选Java的两个选项,点击“继续”
8.输入Gateway节点的root密码,并点击“继续”
9.等待cloudera-scm-agent在Gateway节点上安装
安装完成点击“继续”
10.等待分发Parcel包并激活
完成后,点击“继续”
11.主机检查,点击“继续”
12.选择主机模板
没有发现之前创建的主机模板文件,这里先不管了,回到Cloudera Manager主页。你也可以在这个页面点击“创建”,直接创建一个主机模板,选中后,点击继续。
13.点击进入“所有主机”页面,可以发现新的Gateway节点已经在主机列表中。
14.选中Gateway节点,并应用主机模板
15.选择之前创建好的主机模板,并勾选应用主机模板。
点击“确认”
16.等待应用主机模板命令执行完毕
待所有步骤执行完毕后,点击“关闭”
17.确认所有Gateway角色已经部署到新的节点
至此,给CDH集群增加新的Gateway节点完成。
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。