接上文 Spark UI (3、4、5) - Storage、Environment、Executors页面
SQL页面展示了作业执行Spark SQL的情况, 它会按SQL层面展示一条SQL在Spark中如何解析并执行的。
SQL详情页面会展示SQL在spark中执行的具体计划(DAG图)：
代码语言：javascript复制INSERT OVERWRITE TABLE `${target.table}`
select t1.report_date,
t2.cooperation_type,
t1.grid_poi_id,
t1.diff_qty
from mart_grocery.fact_sc_gms_diff_report t1
left join mart_grocery.dim_op_poi t2
on t1.grid_poi_id=t2.poi_id
where t1.dt = '20220410'
下方的Details会展示SQL在Spark中如何解析并优化的:
FAQ
1.检查分区过滤条件是否生效
如果输入表是分区表, 且只需要读部分分区时，我们可以观察对应的HiveTableScan是否有分区字段的过滤条件, 如果有代表只会读取符合条件的分区数据, 如果没有作业会全量分区。
2.ETL任务Stage和DAG的对应关系
通过stage DAG图中的coordinator id可以找到在SQL页面对应的位置, 例如:
