Spark内核架构术语
• Application： 基于Spark的用户程序，包含了一个driver program 和 集群中多个的executor
• Driver Program ：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program。
• Cluster Manager： 在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)
• Worker Node： 集群中任何可以运行Application代码的节点
• Executor： 是为某Application运行在worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。
• Task： 被送到某个executor上的工作单元
• Job： 包含多个Task组成的并行计算，往往由Spark action催生，该术语可以经常在日志中看到。
• Stage： 每个Job会被拆分很多组task，每组任务被称为Stage，也可称TaskSet，该术语可以经常在日志中看到。
• RDD：Spark的基本计算单元，可以通过一系列算子进行操作（主要有Transformation和Action操作），
• DAG Scheduler：根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler，详见DAG Scheduler 细解。
• TaskScheduler：将Taskset提交给worker（集群）运行并回报结果，详见TaskScheduler 细解。
1.png
Stage是什么
1.png
