hdoop(2)——hdfs一些常用的配置文件

2020-11-11 16:58:04 浏览数 (1)

(1)core-site xml

此文件在etc/hadoop/下,此目录下写入了外部访问hdfs的端口信息:

默认端口号为9000

(2)hdfs-site xml

此文件位置同(1),用cat命令查看该文件: <1>

此处内容表示的是副本数,在这里可以设置副本数为几个 <2>

<3>

此处可以看到datanode数据存放在哪 此处可以设置我们的namenode的文件放置在哪

(3)mapred-site xml

文件位置同上 <1>

此处指定了mapreduce执行的端口号为9001 <2>

此处指定了调度工具为yarn

(4)yarn-site xml

文件位置同上 <1>

我们在shuffle阶段处理所用到的工具 <2>

yarn跑起来后的hostname的设定 <3>

配置虚拟内存是否检查

0 人点赞