(1)core-site xml
此文件在etc/hadoop/下,此目录下写入了外部访问hdfs的端口信息:
默认端口号为9000
(2)hdfs-site xml
此文件位置同(1),用cat命令查看该文件: <1>
此处内容表示的是副本数,在这里可以设置副本数为几个 <2>
<3>
此处可以看到datanode数据存放在哪 此处可以设置我们的namenode的文件放置在哪
(3)mapred-site xml
文件位置同上 <1>
此处指定了mapreduce执行的端口号为9001 <2>
此处指定了调度工具为yarn
(4)yarn-site xml
文件位置同上 <1>
我们在shuffle阶段处理所用到的工具 <2>
yarn跑起来后的hostname的设定 <3>
配置虚拟内存是否检查