hadoop-3.2.0------>入门六伪分布式 YARN运行MapReduce

一、配置yarn配置文件：

1、进入到hadoop根目录下

2、配置yarn-env.sh（命令：vi etc/hadoop/yarn-env.sh）

将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

3、配置yarn-site.xml （命令：vi etc/hadoop/yarn-site.xml ）

代码语言：javascript复制

<!--Reducer获取数据方式-->
                <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
                </property>
                <!--yarn的resourcemanager地址-->
                <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>localhost</value>
                </property>

4、配置mapred-env.sh （命令：vi etc/hadoop/mapred-env.sh）

将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

5、配置mapred-site.xml（命令：vi etc/hadoop/mapred-site.xml）

注意：如果没有mapred-site.xml文件，可以查看有没有mapred-site.xml.template文件，如果有将该文件重命名为mapred-site.xml，在进行下面操作。

将下面配置信息粘贴进去

代码语言：javascript复制

               <!--指定MR运行在yarn上-->
                <property>
                      <name>mapreduce.framework.name</name>
                      <value>yarn</value>
                </property>
                <property>
                      <name>yarn.app.mapreduce.am.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.map.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.reduce.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>