一、日志聚集概念
应用运行完成以后,将程序运行日志信息上传到HDFS系统上
二、日志聚集功能好处
可以方便的查看到程序运行的详情,方便开发调试
三、注意
开启日志聚集功能,需要重启NodeManager、ResourceManager和HistoryManager
关闭命令:
关闭NodeManager:sbin/yarn-daemon.sh stop nodemanager
关闭ResourceManager:sbin/yarn-daemon.sh stop resourcemanager
关闭HistoryManager:sbin/mr-jobhistory-daemon.sh stop historyserver
四、配置日志聚集
1、配置yarn-site.xml(命令:vi etc/hadoop/yarn-site.xml)
配置信息如下
代码语言:javascript复制<!--日志聚集功能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间单位是秒 这里我设置为7天-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2、启动NodeManager、ResourceManager和HistoryManager
开启命令:
开启NodeManager:sbin/yarn-daemon.sh start nodemanager
开启ResourceManager:sbin/yarn-daemon.sh start resourcemanager
开启HistoryManager:sbin/mr-jobhistory-daemon.sh start historyserver