hadoop集群动态扩展节点

2021-04-27 12:01:02 浏览数 (1)

​

一、修改hostname

代码语言：javascript复制
hostnamectl set-hostname hadoopxx

二、修改网络配置

1、生成UUID

UUID是网络的唯一标识，不能和之前的主机重复

代码语言：javascript复制
uuidgen

2、修改 /etc/sysconfig/network-scripts/ifcfg-ens33 文件

代码语言：javascript复制
ifconfig
代码语言：javascript复制
cat /etc/sysconfig/network-scripts/ifcfg-ens33
代码语言：javascript复制
cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempalte
代码语言：javascript复制
vim /etc/sysconfig/network-scripts/ifcfg-ens33
代码语言：javascript复制
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="f18dea2a-c2de-489d-b172-d52c385bbbf6"
DEVICE="ens33"
ONBOOT="yes"

IPADDR="192.168.x.xxx"
NETMASK="255.255.255.0"
GATEWAY="192.168.0.1"
DNS="192.168.0.1"
NM_CONTROLLED="no"

3、停止networkManager服务

代码语言：javascript复制
systemctl stop NetworkManager.service
代码语言：javascript复制
systemctl disable NetworkManager.service

4、重启网卡服务

代码语言：javascript复制
systemctl restart network
ifconfig
代码语言：javascript复制
ping hao123.com

三、修改 hosts 文件

代码语言：javascript复制
cat /etc/hosts

需要添加的节点ip和host

192.168.0.133 hadoop4 192.168.0.134 hadoop5

代码语言：javascript复制
echo "192.168.0.133 hadoop4
192.168.0.134 hadoop5" >> /etc/hosts
代码语言：javascript复制
cat /etc/hosts
代码语言：javascript复制
reboot

四、SSH免密登录配置

大数据入门之 ssh 免密码登录：https://cloud.tencent.com/developer/article/1818611

注意事项：

1、因为是复制过来的节点，原来的 ssh keygen 没变，这里直接 overwrite 就行了

2、原来的免密登录已经失效，需要把 /root/.ssh/known_hosts 文件和 authorized_keys 文件清空重新配置

代码语言：javascript复制
cat /root/.ssh/known_hosts
> /root/.ssh/known_hosts
cat /root/.ssh/known_hosts

cat /root/.ssh/authorized_keys
> /root/.ssh/authorized_keys
cat /root/.ssh/authorized_keys

五、修改zookeeper配置

1、配置 zoo.cfg 文件

代码语言：javascript复制
cd $ZOO_HOME/conf
cat $ZOO_HOME/conf/zoo.cfg
echo "server.4=hadoop4:2888:3888
tail -n 10 $ZOO_HOME/conf/zoo.cfg

2、 配置 zookeeper的myid

代码语言：javascript复制
cat $ZOO_HOME/data/myid
# n 为zookeeper的myid，一直累加下去就行了，这里用的4和5
echo "n" > $ZOO_HOME/data/myid
cat $ZOO_HOME/data/myid

六、修改hadoop配置

代码语言：javascript复制
cd $HADOOP_HOME/etc/hadoop
代码语言：javascript复制
cat $HADOOP_HOME/etc/hadoop/workers
代码语言：javascript复制
# 如果没有换行先换行
echo "" >>$HADOOP_HOME/etc/hadoop/workers
代码语言：javascript复制
echo "hadoop4
hadoop5" >> $HADOOP_HOME/etc/hadoop/workers
cat $HADOOP_HOME/etc/hadoop/workers

NameNode上执行 

代码语言：javascript复制
# NameNode上刷新节点
hdfs dfsadmin -refreshNodes
# 查看节点信息
hdfs dfsadmin -report
代码语言：javascript复制
vim $HADOOP_HOME/etc/hadoop/core-site.xml

如果想添加zkfcz则配置此项

代码语言：javascript复制
		ha.zookeeper.quorum
		hadoop1:2181,hadoop2:2181,hadoop3:2181
		DFSZKFailoverController

七、修改hbase配置

代码语言：javascript复制
cd $HBASE_HOME/conf
cat $HBASE_HOME/conf/regionservers
代码语言：javascript复制
echo "hadoop4
hadoop5" >> $HBASE_HOME/conf/regionservers
cat $HBASE_HOME/conf/regionservers

八、修改spark配置

1、配置work节点

代码语言：javascript复制
cd $SPARK_HOME/conf
代码语言：javascript复制
cat $SPARK_HOME/conf/slaves
echo "hadoop4
hadoop5" >> $SPARK_HOME/conf/slaves
cat $SPARK_HOME/conf/slaves

 2、配置spark高可用

代码语言：javascript复制
vim $SPARK_HOME/conf/spark-env.sh
代码语言：javascript复制
# export SPARK_MASTER_IP=hadoop1
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 -Dspark.deploy.zookeeper.dir=/spark"
代码语言：javascript复制
tail -n 20 $SPARK_HOME/conf/spark-env.sh
ssh hadoop zookeeper spark 分布式

0 人点赞