Win10安装Hadoop3.0.0

2021-04-27 11:58:45 浏览数 (1)

一、下载hadoop3.0.0

下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/ 下载文件：hadoop-3.0.0.tar.gz

二、下载winutils工具

下载地址：https://github.com/steveloughran/winutils 下载文件：hadoop-3.0.0/bin

三、配置环境变量

1、解压安装包到：D:HadoopHDFShadoop-3.0.0

2、将hadoop-3.0.0/bin文件复制一份，改名为hadoop-3.0.0/bin.template

3、将下载的 hadoop-3.0.0/bin 文件复制到 D:HadoopHDFShadoop-3.0.0目录下

4、配置环境变量

变量名：HADOOP_HOME 变量值：D:HadoopHDFShadoop-3.0.0

系统变量path变量中添加 

%HADOOP_HOME%bin %HADOOP_HOME%sbin

四、配置Hadoop

1、进入目录：D:HadoopHDFShadoop-3.0.0etchadoop

2、在 根目录下创建 properties 文件夹

3、将 etchadoop 目录下的 配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.cmd 文件复制到 hadoop-3.0.0properties 目录（方便修改，修改之后一键替换到 hadoop-3.0.0etchadoop 目录即可）

4、在 D:HadoopHDFShadoop-3.0.0properties 目录下创建两个脚本文件 hdfs-format.cmd、start-all.cmd

5、 Hadoop配置文件配置如下

hadoop-env.cmd 

代码语言：javascript复制
@set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_111

core-site.xml

代码语言：javascript复制
    fs.defaultFS  
    hdfs://localhost:9000

hdfs-site.xml

代码语言：javascript复制
    dfs.replication
    1 
  
  
    dfs.permissions
    false
  
  
    dfs.namenode.name.dir
    /G:/hadoop/data/dfs/namenode
  
  
    dfs.datanode.data.dir
    /G:/hadoop/data/dfs/datanode
  
  
    fs.checkpoint.dir
    /G:/hadoop/data/dfs/snn
  
  
    fs.checkpoint.edits.dir
    /G:/hadoop/data/dfs/snn

yarn-site.xml

代码语言：javascript复制
    yarn.nodemanager.aux-services  
    mapreduce_shuffle 
    
   
    yarn.nodemanager.aux-services.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler

mapred-site.xml

代码语言：javascript复制
    mapreduce.framework.name  
    yarn

6、初始化和启动脚本配置

hdfs-format.cmd

代码语言：javascript复制
cd D:HadoopHDFShadoop-3.0.0bin
hdfs namenode -format

start-all.cmd

代码语言：javascript复制
cd D:HadoopHDFShadoop-3.0.0sbin
D:HadoopHDFShadoop-3.0.0sbinstart-all.cmd

五、执行脚本文件

1、替换配置文件

把 D:HadoopHDFShadoop-3.0.0properties 目录下的文件全部替换到 D:HadoopHDFShadoop-3.0.0bin

2、初始化HDFS

进入 D:HadoopHDFShadoop-3.0.0properties 目录，点击执行 hdfs-format.cmd 文件

3、启动Hadoop和yarn

进入 D:HadoopHDFShadoop-3.0.0properties 目录，点击执行 start-all.cmd 文件

启动之后弹出四个窗口，如果窗口没有自动关闭或者自动停止则初始化成功

六、访问地址

yarn：http://127.0.0.1:8088/cluster

hdfs：http://localhost:9870/explorer.html#/

七、注意事项

1、JAVA_HOME设置，PROGRA~1 代表的是 Program Files 目录

set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_111

2、这里的安装路径是在 D:HadoopHDFShadoop-3.0.0 

3、这里配置的HDFS的元数据目录是在 G:hadoopdatadfs

xml 大数据 java yarn node.js

0 人点赞