spark-yarn-cluster任务提交方式Logs出现Fails且无法访问

2021-04-13 10:44:29 浏览数 (1)

A1 原因

  1. 提交方式：注意用yarn-cluster提交方式的命令
  2. 日志没有收集

A2 解决

  1. 用yarn-cluster提交方式的命令命令：./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10 或者 ./spark-submit --master yarn-cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.12-2.4.6.jar 10
  2. 配置文件中：yarn-site.xml 和 mapred-site.xml 中的节点配置是哪个节点则就在哪个节点中启动日志命令。mr-jobhistory-daemon.sh start historyserver 如下面需都是node03，保持一致，同时在node03节点运行命令：mr-jobhistory-daemon.sh start historyserver yarn-site.xml中：
代码语言：javascript复制
<property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
</property>
<property>
        <name>yarn.log.server.url</name>
        <value>http://node03:19888/jobhistory/logs</value>
</property>
<property>
       <name>yarn.nodemanager.remote-app-log-dir</name>
       <value>/tmp/logs</value>
</property>

mapred-site.xml中

代码语言：javascript复制
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node03:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node03:19888</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/history/done</value>
    </property>
<!-- 正在运行的任务信息临时目录 -->
    <property>
        <name>mapreduce.jobhistory.intermediate.done-dir</name>
        <value>/history/done/done_intermediate</value>
    </property>

A3 相关

spark的任务提交方式 submit命令。

spark yarn xml node.js java

0 人点赞