Spark UI是反映一个Spark作业执行情况的web页面, 用户可以通过Spark UI观察Spark作业的执行状态, 分析可能存在的问题.。本文会介绍Spark UI的相关内容和常用的分析方法, 帮助大家更快看懂Spark究竟是如何执行代码以及通过Spark UI定位常见的作业问题.
以一个常见的Spark任务为例, Spark UI如图:
后续文章将从下面7个模块依次介绍。
序号 | 标签页 | 说明 | 文档 |
|---|---|---|---|
1 | Jobs | spark作业正在执行中和执行过的job | Spark UI (1) - Jobs页面 |
2 | Stages | 所有Stages的信息 | Spark UI (2) - Stages页面 |
3 | Storage | RDD存储信息 | Spark UI (3) - Storage页面 |
4 | Environment | 作业配置参数和执行环境信息 | Spark UI (4) - Environment页面 |
5 | Executors | 展示作业的Executor信息 | Spark UI (5) - Executors页面 |
6 | SQL | 使用Spark-SQL时出现, 展示SQL解析信息 | Spark UI (6) - SQL页面 |
7 | Debug | 错误诊断信息及不同类型Executor的时间线图 | Spark UI (7) - Debug页面（待编写） |
