Hadoop基础教程-第3章 HDFS:分布式文件系统(3.3 HDFS参数解读)

2022-05-06 18:32:31 浏览数 (1)

第3章 HDFS:分布式文件系统

3.3 HDFS参数解读

3.3.1 官方文档

Hadoop官方文档地址: http://hadoop.apache.org/docs/r2.7.3/

由于Hadoop相关参数页面需要通过FireFox浏览器打开,这里需要你先安装FireFox浏览器。

下拉页面,可以在页面左下角找到“Configuration”,其下面有core-site.xml、hdfs-site.xml两个链接。本节内容主要是解读一下这两个文件中的主要参数。

2017-5-25 更新: 现在官方已经能更新谷歌浏览器也可以打开默认参数页面了

3.3.2 core-site.xml

集群全局参数在core-site.xml文件中设置,用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录等。 通过FireFox打开“Configuration”的“core-site.xml”链接: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/core-default.xml

名称

默认值

说明

hadoop.tmp.dir

/tmp/hadoop-${user.name}

临时文件夹

fs.defaultFS

file:///

文件系统主机和端口

io.file.buffer.size

4096

流文件的缓冲区大小,建议设置为65536 ( 64K)

3.3.3 hdfs-site.xml

HDFS相关参数在hdfs-site.xml文件中设置,如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。 通过FireFox打开“Configuration”的“hdfs-site.xml”链接: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

名称

默认值

说明

dfs.name.dir

${hadoop.tmp.dir}/dfs/name

NameNode 元数据存放位置

dfs.data.dir

${hadoop.tmp.dir}/dfs/data

DataNode在本地磁盘存放block的位置,可以是以逗号分隔的目录列表

dfs.permissions

true

检查权限

dfs.replication

3

文件副本数

dfs.namenode.secondary.http-address

0.0.0.0:50090

定义HDFS对应的HTTP服务器地址和端口

0 人点赞