hadoop-hdfs安装部署

2021-04-15 15:04:19 浏览数 (1)

1、上传解压

上传到指定目录输入命令rz （如果没有这个命令 需要安装lrzsz插件 命令 yum -y install lrzsz）

解压到指定文件夹 tar -z/jxvf 压缩包文件 -C 解压的目录

2、配置hadoop的环境变量

vim /etc/profile.d/hadoop.sh

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin 配置完成之后生效 source /etc/profile

注 ： hadoop中所有的配置文件都需要全局同步

3、检查支持哪些库或包

进入hadoop安装目录的bin里面执行以下命令 ./hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了 yum -y install openssl-devel

4、修改hadoop的核心配置文件（直接粘贴 将主机名修改成自己的）

第一个配置文件 ：vim core-site.xml

代码语言：javascript复制
	fs.defaultFS
	hdfs://node01:8020


	hadoop.tmp.dir
	/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas



	io.file.buffer.size
	4096




	fs.trash.interval
	10080

第二个配置文件： vim hdfs-site.xml

代码语言：javascript复制
		dfs.namenode.secondary.http-address
		node01:50090



	dfs.namenode.http-address
	node01:50070


	dfs.namenode.name.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas



	dfs.datanode.data.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas



	dfs.namenode.edits.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits


	dfs.namenode.checkpoint.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name


	dfs.namenode.checkpoint.edits.dir
	file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits


	dfs.replication
	2


	dfs.permissions
	false

             
	dfs.blocksize
	134217728

第三个配置文件 ：vim Hadoop-env.sh

代码语言：javascript复制
       export JAVA_HOME=/export/servers/jdk1.8.0_141  等同于 export JAVA_HOME=${JAVA_HOME}
       可以不修改

第四个配置文件 ：vim mapred-site.xml

代码语言：javascript复制
	mapreduce.framework.name
	yarn



	mapreduce.job.ubertask.enable
	true



	mapreduce.jobhistory.address
	node01:10020



	mapreduce.jobhistory.webapp.address
	node01:19888

第五个配置文件 ：vim yarn-site.xml

代码语言：javascript复制
	yarn.resourcemanager.hostname
	node01


	yarn.nodemanager.aux-services
	mapreduce_shuffle

5、设置集群有哪些工作节点

编辑slave文件 vim slave node01 node02 node03

6丶创建文件存放目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

7、其他节点分发

代码语言：javascript复制
scp -r hadoop-2.6.0-cdh5.14.0 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0 node03:$PWD

8、配置其他节点的hadoop的环境变量

代码语言：javascript复制
  scp /etc/profile.d/hadoop.sh node02:/etc/profile.d/
  scp /etc/profile.d/hadoop.sh node03:/etc/profile.d/

9 、格式化集群

代码语言：javascript复制
   在集群安装目录的bin内部
  执行一下命令进行格式化 hdfs namenode -format

10、集群启动

代码语言：javascript复制
     在集群安装目录的sbin内部执行一下命令进行启动
      ./start-all.sh
ide 专用宿主机 html5 node.js

0 人点赞