Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式下正常运行所必须的进程。

首先，熟悉spark开发的 人都知道spark的部署模式分为三种，分别为Local、Standalone、YARN，通过YARN又分为YARN-Client和YARN-Cluster，Local模式 一般就是在本地运 行Spark任务，需要Spark环境的，Standalone模式是Spark 自 身...

yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage f...

即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统由master/slaves服务组成的，且起初master均存在单点故障，后来均通过zookeeper解决，各个节点上的资源被抽象成粗粒度的slot，有多少slot能同时...

对于Hadoop Master（ResourceManager/NameNode）节点硬件配置要高一些

在计算与存储一体化的情况，spark任务在调度task时会优先将其调度在数据所在的节点上或者相同的rack上，这样可以减少数据在不同节点或者不同rack上移动所带来的性能消耗；目前在Flink on yarn模式下，TaskExecutor的资源位置...

在Flink1.10任务提交流程分析(一)中分析了从flink run开始到任务提交到集群前的流程分析，对于不同的提交模式Flink中使用不同的PipelineExecutor，本篇基于yarn-per-job模式分析向yarn-cluster提交任务的流程。(注：基于1....

Flink任务常见的提交方式通过flink run命令方式提交，如果我们想自己通过API方式实现任务提交，那么就需要了解flink run执行过程，本篇主要透过源码分析其提交流程。(注：基于1.10.1分析)...

Flink任务执行模式包含了yarn-session、standalone、per-job、local, 在1.10中又增加k8s的执行模式，那么在任务提交过程中如何根据不同的执行模式进行任务提交呢？主要通过两个接口来实现：PipelineExecutorFactory 与 Pip...

客户那边需要快速出一个版本，开发的这块使用到的之前没怎么用过，比如用oozie调度spark程序时候，你可能在你本地调试代码没有问题，上传到集群上之后，运行就出各种错，加上我们使用的服务器配置很差，导致各种服务需要的资源都不...