Hadoop3.0、Hive2.3.2、HBase2.1集群重置

2022-04-13 21:13:15 浏览数 (1)

目录

一、hbase集群重置

1、hdfs删除hbase数据

2、关闭hbase

3、清除日志目录

4、hbase zk元数据

5、启动hbase

6、查看hbase webui

二、hive集群重置

1、关闭hive

2、hdfs删除hive

3、删除hive日志文件

4、 初始化hive数据库

5、启动 HiveServer2 服务

6、查看 HiveServer2 webui

三、hadoop集群重置

1、关闭hbase和hdfs

2、关闭zookeeper

3、删除nn、dn、jn配置目录数据

4、删除hdfs、hive、hbase日志文件

5、清除zookeeper数据（非必须）

6、启动zookeeper

7、格式化zookeeper

8、启动zkfc

9、启动journalNode

10、格式化namenode

11、启动hdfs

12、同步namenode

13、启动namenode

14、查看 hdfs webui

大数据集群搭建

大数据集群搭建之Linux安装hadoop3.0.0_qq262593421的博客-CSDN博客

https://cloud.tencent.com/developer/article/1929295

大数据集群之hbase2.1.0高可用安装配置_qq262593421的博客-CSDN博客

一、hbase集群重置

1、hdfs删除hbase数据

代码语言：javascript复制
hadoop fs -rm -r -f /hbase

2、关闭hbase

代码语言：javascript复制
​stop-habse.sh

3、清除日志目录

代码语言：javascript复制
rm -rf /usr/local/hadoop/hbase/logs/*

4、hbase zk元数据

代码语言：javascript复制
zkCli.sh
ls /hbase
rmr /hbase
quit

5、启动hbase

代码语言：javascript复制
start-hbase.sh

6、查看hbase webui

http://hadoop001:16010/

二、hive集群重置

1、关闭hive

代码语言：javascript复制
ps -aux | grep hive
代码语言：javascript复制
 hadoop job -kill jobid

2、hdfs删除hive

代码语言：javascript复制
hadoop fs -rm -r -f /user/hive/*

3、删除hive日志文件

代码语言：javascript复制
rm -rf /user/hadoop/hive/logs/*

4、 初始化hive数据库

代码语言：javascript复制
schematool -dbType mysql -initSchema

5、启动 HiveServer2 服务

代码语言：javascript复制
nohup hiveserver2 > /dev/null 2>&1 &

6、查看 HiveServer2 webui

http://hadoop001:10002/

三、hadoop集群重置

1、关闭hbase和hdfs

代码语言：javascript复制
stop-habse.sh
代码语言：javascript复制
stop-all.sh

2、关闭zookeeper

代码语言：javascript复制
zkServer.sh stop

3、删除nn、dn、jn配置目录数据

代码语言：javascript复制
rm -rf /home/cluster/hadoop/data/nn/*
rm -rf /home/cluster/hadoop/data/dn/*
rm -rf /home/cluster/hadoop/data/jn/*
rm -rf /home/cluster/hadoop/data/tmp/*
rm -rf /home/cluster/yarn/log/*

4、删除hdfs、hive、hbase日志文件

代码语言：javascript复制
rm -rf /usr/local/hadoop/hbase/logs/*
rm -rf /user/hadoop/hive/logs/*
rm -rf /usr/local/hadoop/hive/tmp/*
rm -rf /usr/local/hadoop/hadoop/logs/*

5、清除zookeeper数据（非必须）

代码语言：javascript复制
zkCli.sh
ls /yarn-leader-election/
ls /hadoop-ha
rmr /yarn-leader-election
rmr /hadoop-ha
quit

注意：如果只有hadoop和zookeeper使用到zk可以执行这步操作，否则到下一步骤

代码语言：javascript复制
rm -rf /usr/local/hadoop/zookeeper/data/*
rm -rf /usr/local/hadoop/zookeeper/logs/*

在各个节点上重新生成myid文件，注意每台主机的myid不能相同

代码语言：javascript复制
echo "1" > /usr/local/hadoop/zookeeper/data/myid

6、启动zookeeper

代码语言：javascript复制
zkServer.sh start

7、格式化zookeeper

代码语言：javascript复制
hdfs zkfc -formatZK

8、启动zkfc

代码语言：javascript复制
hdfs --daemon start zkfc

9、启动journalNode

代码语言：javascript复制
hdfs --daemon start journalnode

10、格式化namenode

代码语言：javascript复制
hdfs namenode -format

11、启动hdfs

代码语言：javascript复制
star-all.sh

12、同步namenode

代码语言：javascript复制
hdfs namenode -bootstrapStandby

13、启动namenode

代码语言：javascript复制
hdfs --damon start namenode

14、查看 hdfs webui

http://hadoop001:9870/

TDSQLMySQL版 hbase zookeeper hadoop node.js

0 人点赞