hadoop-3.2.0------>入门八 伪分布式 配置日志聚集

2020-12-07 14:47:24 浏览数 (1)

一、日志聚集概念

应用运行完成以后,将程序运行日志信息上传到HDFS系统上

二、日志聚集功能好处

可以方便的查看到程序运行的详情,方便开发调试

三、注意

开启日志聚集功能,需要重启NodeManager、ResourceManager和HistoryManager

关闭命令:

关闭NodeManager:sbin/yarn-daemon.sh stop nodemanager

关闭ResourceManager:sbin/yarn-daemon.sh stop resourcemanager

关闭HistoryManager:sbin/mr-jobhistory-daemon.sh stop historyserver

四、配置日志聚集

1、配置yarn-site.xml(命令:vi etc/hadoop/yarn-site.xml)

配置信息如下

代码语言:javascript复制
<!--日志聚集功能-->
                        <property>
                            <name>yarn.log-aggregation-enable</name>
                            <value>true</value>
                        </property>
                        <!-- 日志保留时间单位是秒  这里我设置为7天-->
                        <property>
                            <name>yarn.log-aggregation.retain-seconds</name>
                            <value>604800</value>
                        </property>

2、启动NodeManager、ResourceManager和HistoryManager

开启命令:

开启NodeManager:sbin/yarn-daemon.sh start nodemanager

开启ResourceManager:sbin/yarn-daemon.sh start resourcemanager

开启HistoryManager:sbin/mr-jobhistory-daemon.sh start historyserver

4、删除我们之前运行过得wordcount用例的输出文件(命令:bin/hdfs dfs -rm -r /user/root/output)

5、运行wordcount程序。(命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /user/root/input /user/root/output)

6、查看log文件

1、浏览器输入ip 端口号访问yarn页面

2、点击history进入历史服务器

3、点击logs查看日志

0 人点赞