代码语言:javascript复制
1. 关闭防火墙
2. 安装JDK
3. 修改主机名,在Hadoop中,要求主机名中不能出现_和-
cd /etc/sysconfig
vim network
修改HOSTNAME,主机名最好是字母或者数字,但是不能全部是数字,数字最好不作为开头。例如:
HOSTNAME=hadoop01
保存退出,并且重新生效
source network
4. 将主机名和IP进行映射
cd ..
vim hosts
添加映射,例如:
192.168.229.131 hadoop01
保存退出
5. 重启
reboot
6. 配置免密登陆
生成公私钥
ssh-keygen
配置免密
ssh-copy-id root@hadoop01
密码:tarena2017Up;
测试一下是否免密:
ssh hadoop01
7. 下载Hadoop
8. 解压Hadoop
tar -xvf hadoop-2.7.1_64bit.tar.gz
9. 进入Hadoop的安装路径
cd hadoop-2.7.1
cd etc/Hadoop
10. 编辑hadoop-env.sh
vim hadoop-env.sh
修改
export JAVA_HOME=/home/presoftware/jdk1.8
export HADOOP_CONF_DIR=/home/bigdata/hadoop-2.7.1/etc/hadoop
保存退出,重新生效
source hadoop-env.sh
11. 编辑core-site.xml
vim core-site.xml
添加:
<!-- 指定文件系统 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定HDFS的数据存储位置 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
12. 编辑hdfs-site.xml
vim hdfs-site.xml
添加:
<!-- 指定HDFS中的副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
13. 编辑mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
添加:
<!-- 将MapReduce配置成基于YARN的系统 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
14. 编辑yarn-site.xml
vim yarn-site.xml
添加:
<!-- 指定YARN中ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!-- 指定NodeManager中数据获取的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
15. 编辑slaves文件
vim slaves
添加当前的主机名,例如:
hadoop01
16. 配置环境变量
vim /etc/profile
添加:
export HADOOP_HOME=/home/software/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出之后,重新生效:
source /etc/profile
17. 第一次启动Hadoop之前需要进行一次格式化
hadoop namenode -format
****command not found --- 环境变量
****如果出现其他错误,查看core-site.xml和hdfs-site.xml
18. 启动Hadoop
start-all.sh
如果启动成功,利用jps查看,会出现以下6个进程:
Jps
NameNode --- 50070
DataNode --- 50075
SecondaryNameNode --- 50090
ResourceManager --- 8088
NodeManager
如果是命令找不到,则表示环境变量配置错误或者是没有source
如果少了NameNode或者DataNode:
a.coere-site.xml或者hdfs-site.xml配置错误
b.多次格式化 - 删除/home/software/hadoop-2.7.1/tmp重新格式化重新启动
如果少了ResourceManager或者NodeManager:
查看yarn-site.xml