0567-6.1.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置

2019-04-29 16:04:09 浏览数 (1)

作者：李继武

1

文档编写目的

用户在使用Hadoop集群的过程中需要将集群外节点且跨操作系统(suse)的服务器配置为CDH的Gateway角色。本篇文章Fayson主要介绍在Redhat7操作系统上运行的非安全的CDH集群外，为一台suse12操作系统的节点配置为该集群的Gateway节点，且该节点不纳入Cloudera Manager管理。

2

Gateway配置过程

1.查看需要配置Gateway节点的操作系统版本

2.修改主机名

代码语言：javascript复制
hostnamectl set-hostname cdh238.macro.com

3.将该主机添加到原集群的所有节点host文件中

代码语言：javascript复制
sh batch_cmd.sh node.list “192.168.0.238 cdh238.macro.com”

并将cm节点的hosts文件拷贝到新节点上来：

4.创建/opt/cloudera/parcels目录

代码语言：javascript复制
mkdir /opt/cloudera/parcels

5.上传对应CDH版本以及SUSE操作系统的parcel包

6.解压parcel包到/opt/cloudera/parcels下

代码语言：javascript复制
tar -zxvf CDH-6.1.0-1.cdh6.1.0.p0.770702-sles12.parcel -C /opt/cloudera/parcels/

建立软连接

代码语言：javascript复制
cd /opt/cloudera/parcels
ln -s CDH-6.1.0-1.cdh6.1.0.p0.770702 CDH

7.创建java_home目录

代码语言：javascript复制
mkdir -p /usr/java

8.从cm节点拷贝jdk到新节点

代码语言：javascript复制
scp -r cdh234.macro.com:/usr/java/jdk1.8.0_141-cloudera /usr/java

9.配置CDH_HOME和JAVA_HOME，并配置PATH

代码语言：javascript复制
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CDH_HOME=/opt/cloudera/parcels/CDH
export PATH=$CDH_HOME/bin:$JAVA_HOME/bin:$PATH

更新环境变量

代码语言：javascript复制
source /etc/profile

10.创建配置文件目录

代码语言：javascript复制
mkdir -p /etc/spark/conf
mkdir -p /etc/hadoop/conf
mkdir -p /et/hbase/conf
mkdir -p /etc/hive/conf
mkdir -p /etc/hadoop/conf.cloudera.hdfs
mkdir -p /etc/hadoop/conf.cloudera.yarn

11.从原集群中拉取配置文件

代码语言：javascript复制
scp -r cdh234.macro.com:/etc/hadoop/conf/* /etc/hadoop/conf
scp -r cdh234.macro.com:/etc/spark/conf/* /etc/spark/conf
scp -r cdh234.macro.com:/etc/hbase/conf/* /etc/hbase/conf
scp -r cdh234.macro.com:/etc/hive/conf/* /etc/hive/conf
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.hdfs/* /etc/hadoop/conf.cloudera.hdfs
scp -r cdh234.macro.com:/etc/hadoop/conf.cloudera.yarn/* /etc/hadoop/conf.cloudera.yarn

3

客户端功能验证

1.HDFS命令验证

在目录下创建a.txt文件

在hdfs上新建一个目录/tmp/test

将a.txt上传到/tmp/test目录下

将本地的a.txt删除，从hdfs上拉取下来并查看

2.MapReduce作业验证

代码语言：javascript复制
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar pi 5 5

在控制台上查看，生成了任务

3.Hive功能验证

4.Spark功能验证

5.HBase功能验证

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

专用宿主机 hadoop parcel 大数据

0 人点赞