HDFS服役新数据节点与退役旧数据节点

2021-02-05 11:37:30 浏览数 (1)

文章目录

  • 为什么要让新数据节点服役于原有的集群？
  • 准备新的节点
    • 修改mac地址以及IP地址
    • 关闭防火墙，开机不自启
    • 关闭selinux
    • ssh免密码登录
    • 修改主机名
    • 设置主机名和IP的对应关系
    • 安装jdk
    • 安装Hadoop
  • 服役新节点具体步骤
    • 创建 dfs.hosts 文件
    • node01编辑 hdfs-site.xml 添加以下配置
    • 刷新 namenode
    • 更新resourceManager节点
    • namenode的slaves文件增加新服务节点主机名称
    • 单独启动新增节点
    • 浏览器查看
    • 使用负载均衡命令，让数据均衡负载所有机器
  • 退役旧数据节点
    • 创建dfs.hosts.exclude配置文件
    • 编辑namenode所在机器的hdfs-site.xml
    • 刷新 namenode
    • 更新resourceManager节点
    • 查看web浏览界面
    • 节点退役完成，停止该节点进程
    • 从include文件中删除退役节点
    • 从namenode的slave文件中删除退役节点
    • 如果数据负载不均衡，执行以下命令进行均衡负载

为什么要让新数据节点服役于原有的集群？

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

准备新的节点

修改mac地址以及IP地址

修改mac地址命令

代码语言：javascript复制
vim /etc/udev/rules.d/70-persistent-net.rules

修改ip地址命令

代码语言：javascript复制
vim /etc/sysconfig/network-scripts/ifcfg-eth0

关闭防火墙，开机不自启

代码语言：javascript复制
service iptables stop
chkconfig iptables off

关闭selinux

代码语言：javascript复制
vi /etc/selinux/config

ssh免密码登录

代码语言：javascript复制
ssh-keygen -t rsa
ssh-copy-id node01

修改主机名

代码语言：javascript复制
vi /etc/sysconfig/network

设置主机名和IP的对应关系

代码语言：javascript复制
vi /etc/hosts

在hosts内写入一下内容

代码语言：javascript复制
192.168.100.11 node01
192.168.100.12 node02
192.168.100.13 node03
192.168.100.14 node04

远程拷贝：

代码语言：javascript复制
scp /etc/hosts node02:/etc/

安装jdk

在node01，将jdk解压后的包拷贝到node04上

代码语言：javascript复制
cd /export/servers/
scp -r jdk1.8.0_144/ node04:$PWD

在node01上，将jdk的配置文件也拷贝到node04上

代码语言：javascript复制
cd /etc/profile.d/
scp java.sh node04:$PWD

安装Hadoop

在node01，将Hadoop解压后的包拷贝到node04上

代码语言：javascript复制
[root@node01 hadoop]# cd /export/servers/
[root@node01 servers]# scp hadoop-2.6.0-cdh5.14.0/ node04:$PWD

在node01上，将Hadoop的配置文件也拷贝到node04上

代码语言：javascript复制
cd /etc/profile.d/
scp hadoop.sh node04:$PWD

服役新节点具体步骤

创建 dfs.hosts 文件

在 node01 也就是namenode 所在的机器的 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts

添加如下主机名称（包含新服役的节点）

代码语言：javascript复制
node01
node02
node03
node04

node01编辑 hdfs-site.xml 添加以下配置

在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性 node01执行以下命令

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

在hdfs-site.xml内写入一下内容

代码语言：javascript复制
<property>
	<name>dfs.hosts</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

刷新 namenode

node01执行一下命令刷新namenode

代码语言：javascript复制
hdfs dfsadmin -refreshNodes

出现Refresh nodes successful代表刷新成功

更新resourceManager节点

node01执行一下命令刷新resourceManager

代码语言：javascript复制
yarn rmadmin -refreshNodes

出现19/11/08 03:52:37 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.100.11:8033代表刷新成功

namenode的slaves文件增加新服务节点主机名称

node01编辑slaves文件，并添加新增节点的主机，更改完后，slaves文件不需要分发到其他机器上面去 node01执行以下命令编辑slaves文件

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vi slaves

在slaves内写入一下内容

代码语言：javascript复制
node01
node02
node03
node04

单独启动新增节点

node04服务器执行以下命令，启动datanode和nodemanager

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

浏览器查看

代码语言：javascript复制
http://node01:50070/dfshealth.html#tab-overview
代码语言：javascript复制
http://node01:8088/cluster

使用负载均衡命令，让数据均衡负载所有机器

node01执行以下命令

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

退役旧数据节点

创建dfs.hosts.exclude配置文件

在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件，并添加需要退役的主机名称 node01执行以下命令

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts.exclude

在 dfs.hosts.exclude 添加以下内容

代码语言：javascript复制
node04

编辑namenode所在机器的hdfs-site.xml

编辑namenode所在的机器的hdfs-site.xml配置文件，添加以下配置 node01执行以下命令

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

在 hdfs-site.xml 添加以下内容

代码语言：javascript复制
<property>
	<name>dfs.hosts.exclude</name>
    <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

刷新 namenode

node01执行一下命令刷新namenode

代码语言：javascript复制
hdfs dfsadmin -refreshNodes

出现Refresh nodes successful代表刷新成功

更新resourceManager节点

node01执行一下命令刷新resourceManager

代码语言：javascript复制
yarn rmadmin -refreshNodes

出现19/11/08 03:52:37 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.100.11:8033代表刷新成功

查看web浏览界面

浏览器访问

代码语言：javascript复制
http://node01:50070

节点退役完成，停止该节点进程

等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。

node01执行以下命令，停止该节点进程

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

从include文件中删除退役节点

namenode所在节点也就是node01执行以下命令删除退役节点

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts

在 dfs.hosts 添加以下内容

代码语言：javascript复制
node01
node02
node03

namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager

代码语言：javascript复制
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

从namenode的slave文件中删除退役节点

namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

在 slaves 添加以下内容

代码语言：javascript复制
node01
node02
node03

如果数据负载不均衡，执行以下命令进行均衡负载

node01执行以下命令进行均衡负载

代码语言：javascript复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh
node.js 大数据 xml 负载均衡 负载均衡缓存

0 人点赞